程序聚合 软件案例 基于AI的VR/AR互动音乐app-奏乐

基于AI的VR/AR互动音乐app-奏乐

行业:VR/AR、游戏/电竞
载体:安卓APP
技术:C++、Go、Java、Kotlin

业务和功能介绍

通过动作姿势进行音乐演奏,创作乐曲,通过手机模拟乐器,进行音乐演奏
将手机摄像头对准身体,可使用前置摄像头和后置摄像头,对着摄像头做动作,软件通过AI智能识别身体动作,身体每个部分运动的动作通过AI转换为对应不同乐器的演奏指令,手机模拟不同乐器演奏发出的声音,开始演奏不同乐器。双击屏幕可以调出设置界面,可以进行摄像头切换,更改演奏乐器,也可以通过屏幕演奏相应乐器
身体动作驱动的音乐应用
1. 主界面与摄像头启动
用户点击应用图标进入主界面,默认开启前置摄像头(支持切换至后置摄像头)。
实时预览摄像头画面,并提示用户“将身体对准镜头开始演奏”。

2. 身体骨骼关键点识别
应用通过计算机视觉算法(如MediaPipe、OpenPose)实时检测用户身体的关键骨骼点(如手肘、手腕、肩膀、头部等)。

每个关键点的运动对应架子鼓的不同乐器(如:

左手挥动 → 踩镲(Hi-Hat)

右手挥动 → 军鼓(Snare Drum)

头部点头 → 底鼓(Bass Drum)

抬腿动作 → 吊镲(Crash Cymbal)

3. 动作驱动的音乐演奏
用户通过身体动作触发乐器声音,例如:

快速挥手 → 连续击打军鼓(连奏效果)。

大幅度跳跃 → 触发重音或特殊音效。

系统实时反馈声音,确保低延迟,增强沉浸感。

4. 设置界面(双击屏幕调出)
摄像头切换:前置/后置摄像头一键切换。

乐器配置:自定义每个身体部位对应的乐器(如将“头部点头”改为触发铜鼓)。

手动演奏模式:在设置界面中,用户可直接点击屏幕上的虚拟鼓面进行手动演奏。

5. 其他功能
灵敏度调节:适应不同用户的动作幅度(如儿童/成人)。

背景音乐:支持加载用户自定义的伴奏曲目,与动作演奏同步。

录制与分享:保存演奏片段并导出为视频或音频文件。


项目实现

技术实现
核心算法:基于MediaPipe或TensorFlow Lite的轻量级姿态估计模型,适配移动端实时计算。

声音引擎:使用低延迟音频库(如FMOD或Wwise)确保音效即时响应。

跨平台支持:可通过Kotlin(Android)和Swift(iOS)原生开发,或Flutter跨平台实现。

此设计结合了趣味性与技术深度,适合健身娱乐、音乐教育等场景。

示例图片视频


武汉市中和泰科技有限公司
30天前活跃
交付率:100.00%
相似推荐
聚合支付系统
该项目是通过对接不同的上游支付渠道,封装被扫/主扫支付、订单查询、支付异步回调、退款等全套HTTP接口。映射出不同的支付场景,例如POS机收款、商店收款码、商户收银插件、微信公众号、微信小程序等 商户进件成功后可以建立不同的门店,门店下可以新增店长店员。门店收载后店长可以查询门店交易信息,商户可以查询所有门店交易信息等等
量化
核心要解决的是加密货币量化交易的痛点: 人工盯盘不可持续 — 7×24 小时行情,人不可能实时做技术指标计算 + 风控 + 下单。 策略无法自动进化 — 传统量化策略写死参数后不会自我迭代。 赛道:加密货币衍生品 三模式运行:read_only(只读模拟)/ demo(模拟盘,自动加 x-simulated-trading)/ live(实盘,强制过安全检查清单)。
内部-宁波银行对公营销决策系统
该项目是宁波银行自己的名为星云平台中的脚手架搭建的微服务项目,本系统包含7个微服务分别 是:数据集服务、标签服务、客户群服务、决策服务、触点服务、事件服务、工单服务。整体是的数据集跑批到每个标签,客户群中配置每个客户群所包含的标签,用户主要在决策的画布中配置营销模型,包含决策所属的客户群,发放的权益种类、发放的时间和频率、发放后续的处理。主要用于银行在做一些业务推广时,需要通过发奖的方式达到宣传效果。会针对不同权益奖品所用到的不同的发放规则,发放客户群,发放时机落地到每一个策略中,以达到业务需求。
C++高性能量化回测系统-QuantPilot
面向个人投资者的A股策略回测平台,解决"策略上线前无法验证"的痛点。 核心功能:①双均线、动量、网格三类内置策略模板,支持参数化配置;②基于真实历史行情的逐笔撮合回测引擎;③收益曲线、最大回撤、夏普比率等绩效指标自动计算与可视化报告。使用流程:导入行情数据→选择策略配置参数→运行回测→查看绩效报告,全程无需编程基础。
某金融风控和模型系统
1. 风控决策引擎的研发与优化(核心主线) 这是我工作中最核心、贯穿始终的部分。我负责开发和维护机审规则引擎,它决定了贷款申请能否通过审批。具体工作包括: 开发了大量风控规则,例如:经纬度反欺诈规则、AppListName规则、银行卡信息核验、内部人脸黑名单(百度接口)、多平台共债规则、首复贷进件限制、逾期天数限制等。 主导了机审规则的两次大版本优化(2021/2/18-3/10),大幅提升了规则执行的效率与可维护性。 引入了RocketMQ,将风控规则调用、埋点数据上报等改为异步解耦,提升了系统吞吐量。 2. 多国支付网关对接(关键业务闭环) 我独立负责了泰国、尼日利亚、印尼等多个国家的支付渠道对接,完成了从支付下单、回调验签到放款、还款的完整闭环。其中: 尼日利亚支付是你投入时间最长的模块之一(持续从5月到7月),涉及Paystack渠道的深度集成,包括USSD还款、BVN(银行验证号)验证、核销对账等复杂业务。 我解决了多个生产环境的关键问题,如还款数据重复写入、姓名验证BUG等,保障了资金安全。 3. 电销与催收管理系统的功能开发 你为越南/菲律宾市场开发了电销名单自动分单系统,包括案件分配、回收时间逻辑、意向客户标记、拨打任务查询等功能,提升了贷后转化效率。同时,也涉及催收系统的部分功能(如手动分配催收订单)。 4. 数据模型与报表支持 我配合风控模型团队,将多个模型分(菲律宾模型02、越南H5模型、越南模型11/13、贷中评分卡模型等) 落地到系统中,并根据模型结果进行风险定价和档位评定。同时,我为运营提供了大量数据支持(如商户对账单、跑马灯SQL优化等)。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服