程序聚合 软件案例 基于AI的VR/AR互动音乐app-奏乐

基于AI的VR/AR互动音乐app-奏乐

行业:VR/AR、游戏/电竞
载体:安卓APP
技术:C++、Go、Java、Kotlin

业务背景

通过动作姿势进行音乐演奏,创作乐曲,通过手机模拟乐器,进行音乐演奏
将手机摄像头对准身体,可使用前置摄像头和后置摄像头,对着摄像头做动作,软件通过AI智能识别身体动作,身体每个部分运动的动作通过AI转换为对应不同乐器的演奏指令,手机模拟不同乐器演奏发出的声音,开始演奏不同乐器。双击屏幕可以调出设置界面,可以进行摄像头切换,更改演奏乐器,也可以通过屏幕演奏相应乐器

功能介绍

身体动作驱动的音乐应用
1. 主界面与摄像头启动
用户点击应用图标进入主界面,默认开启前置摄像头(支持切换至后置摄像头)。
实时预览摄像头画面,并提示用户“将身体对准镜头开始演奏”。

2. 身体骨骼关键点识别
应用通过计算机视觉算法(如MediaPipe、OpenPose)实时检测用户身体的关键骨骼点(如手肘、手腕、肩膀、头部等)。

每个关键点的运动对应架子鼓的不同乐器(如:

左手挥动 → 踩镲(Hi-Hat)

右手挥动 → 军鼓(Snare Drum)

头部点头 → 底鼓(Bass Drum)

抬腿动作 → 吊镲(Crash Cymbal)

3. 动作驱动的音乐演奏
用户通过身体动作触发乐器声音,例如:

快速挥手 → 连续击打军鼓(连奏效果)。

大幅度跳跃 → 触发重音或特殊音效。

系统实时反馈声音,确保低延迟,增强沉浸感。

4. 设置界面(双击屏幕调出)
摄像头切换:前置/后置摄像头一键切换。

乐器配置:自定义每个身体部位对应的乐器(如将“头部点头”改为触发铜鼓)。

手动演奏模式:在设置界面中,用户可直接点击屏幕上的虚拟鼓面进行手动演奏。

5. 其他功能
灵敏度调节:适应不同用户的动作幅度(如儿童/成人)。

背景音乐:支持加载用户自定义的伴奏曲目,与动作演奏同步。

录制与分享:保存演奏片段并导出为视频或音频文件。


项目实现

技术实现
核心算法:基于MediaPipe或TensorFlow Lite的轻量级姿态估计模型,适配移动端实时计算。

声音引擎:使用低延迟音频库(如FMOD或Wwise)确保音效即时响应。

跨平台支持:可通过Kotlin(Android)和Swift(iOS)原生开发,或Flutter跨平台实现。

此设计结合了趣味性与技术深度,适合健身娱乐、音乐教育等场景。

示例图片视频


武汉市中和泰科技有限公司
1天前活跃
交付率:100.00%
相似推荐
高校预算绩效管理系统-苏州大学预算绩效管理系统
1、高校预算管理系统实现了项目立项管理、项目过程管理、项目验收管理、预算编制管理、学校整体绩效目标管理、学校整体绩效监控管理、收入预算管理、专项管理、指标管理等功能 2、本系统为高校建立项目预算全链条管控:严控高校项目全周期预算,以立项评审为源头约束,以质量监控为执行保障,实现资金穿透式管理 3、项目申报流程:项目申报、部门/学院负责人审核、归口部门审核、预算小组审核、分管校领导审核、校党委审核流程,此外还有项目过程管理、项目验收管理、学校整体绩效目标管理、专项管理、项目执行计划管理、项目执行监控管理、项目监控整改管理、项目自评价管理等多个流程
消息桥接系统
1.消息接收服务,消息来源于上游系统,通过Solace、Tibco传输 2.消息适配服务,整合各个源系统的消息格式,是所有的消息格式统一 3.消息处理引擎服务,针对接收到消息进行细粒度的加工和落地到磁盘 4.消息分发服务,将上面处理好的消息通过Solace中间件转发给下游系统 5.消息通知服务,针对一些有风险的消息及时发邮件给用户
建设银行资产管理系统
前端运用PJF框架,数据库运用ORACLE,由建行工作人员提交资产配置,走流程,配置内容包含资产名称、资产规模、预期收益率、所属分行、拟采用担保措施、资产期限、是否纳入并表授信等,配置完后依次进行资产创设、创设的审核复核、资产发布、发布的审核复核,上一步工作流程走完了才能走下一步。每一个资产有自己唯一的资产编号,审核与复核的操作由具有相关权限的人员操作,不同岗位的工作人员有不同的权限。每个资产基本信息通过调用公共交易查询得到。主页面检索和展示多条资产情况,显示每条资产的状态信息、发起时间和流程名称等。审核和复核页面有每一笔资产的审批记录详情,包含节点名称、审批人、审批时间、审批意见等。审核人在审核时点击审核按钮,就会给后台发送交易,通过返回的状态值来判断审核是否成功。
积分营销系统
环境有SIT/TEST/UAT/压测/生产。银行生产环境批量每日自动跑批,批量一共分为17组,每日早晨5点开始跑前一日的批量,自动从第1组跑到第17组,数据量在600万左右。对外提供的接口有:1.客户积分线下消费,根据支付机构号+手机号+渠道ID+渠道客户ID,消息中心向该手机号下发短信验证码,客户输入验证码后提交,营销平台查询该客户是否签约开通积分消费功能,并返回客户手机号+可用积分。2.积分消费对账与记账,银行每日需从积分商城下载前一日的对账文件进行对账,并把相关数据同步至行内数据库。数据库使用mysql。分为正常对账流程与异常对账流程。3.营销平台管理台积分消费查询与管理,查询会员积分消费记录,费用中心查询积分消费兑换明细,查询积分消费对账记录,查询结算单,积分消费和积分兑换商品记录出现对账不平时,系统消息推送。4.手机银行/微信银行积分消费查询,积分兑换权益说明。5.消息中心新增积分消费验证码功能。
中科软投标系统
本投标管理系统围绕企业投标业务的核心需求进行功能设计,涵盖从投保单填写、保函管理到机构信息维护的全过程,实现全流程数字化、可视化、可追溯。主要功能模块如下: 1. 投保单管理模块 支持投保单的创建、编辑、提交、审批全流程; 自动生成投保单编号并记录完整操作日志; 支持投保单模板配置与字段动态展示; 可上传、下载相关附件材料,支持预览与版本管理; 审批流程可自定义,支持多级审核节点设置。 2. 保函管理模块 支持投标保函、履约保函等多类型保函的申请与发放; 可在线生成、查看和下载保函电子文件; 支持与第三方保函系统或银行接口对接; 保函状态追踪; 自动统计保函使用情况,支持导出报表。 3. 机构管理模块 管理参与投标的内部组织结构及角色权限; 记录各机构的资质材料、认证信息; 支持机构之间的投标协作与信息共享; 支持机构状态变更与历史记录查询。 4. 数据统计与报表模块 实时统计各类投标数据(如投保单数量、保函金额、成功率等); 支持按时间、项目、机构等多维度筛选和对比分析; 报表导出为Excel、PDF等格式,满足审计与归档需求。 5. 权限与日志管理模块 系统支持基于角色的访问控制(RBAC); 关键操作自动记录操作日志,保障数据可追溯性; 支持用户行为审计与系统安全日志查看; 可设置多种用户角色(如审核人、管理员等);
帮助文档   Copyright @ 2021-2024 程序聚合 | 浙ICP备2021014372号
人工客服