VR/AR 软件定制 案例

身体动作驱动的音乐应用 1. 主界面与摄像头启动 用户点击应用图标进入主界面，默认开启前置摄像头（支持切换至后置摄像头）。 实时预览摄像头画面，并提示用户“将身体对准镜头开始演奏”。 2. 身体骨骼关键点识别 应用通过计算机视觉算法（如MediaPipe、OpenPose）实时检测用户身体的关键骨骼点（如手肘、手腕、肩膀、头部等）。 每个关键点的运动对应架子鼓的不同乐器（如： 左手挥动 → 踩镲（Hi-Hat） 右手挥动 → 军鼓（Snare Drum） 头部点头 → 底鼓（Bass Drum） 抬腿动作 → 吊镲（Crash Cymbal） 3. 动作驱动的音乐演奏 用户通过身体动作触发乐器声音，例如： 快速挥手 → 连续击打军鼓（连奏效果）。 大幅度跳跃 → 触发重音或特殊音效。 系统实时反馈声音，确保低延迟，增强沉浸感。 4. 设置界面（双击屏幕调出） 摄像头切换：前置/后置摄像头一键切换。 乐器配置：自定义每个身体部位对应的乐器（如将“头部点头”改为触发铜鼓）。 手动演奏模式：在设置界面中，用户可直接点击屏幕上的虚拟鼓面进行手动演奏。 5. 其他功能 灵敏度调节：适应不同用户的动作幅度（如儿童/成人）。 背景音乐：支持加载用户自定义的伴奏曲目，与动作演奏同步。 录制与分享：保存演奏片段并导出为视频或音频文件。

使用Unity引擎开发。 使用Shader重新角色材质，让人物看起来更有质感。 优化项目运行速度，在web端保持较高运行速度。 预制或实时根据音频生成动画口型。然数字人的嘴部动画与音频更加匹配。 开发webgl项目与透明背景web嵌入其他web工程使用。

用户佩戴quest眼镜，可以体验混合现实的身临其境的体验，用于旅游、商场娱乐、营销等；其中可以玩家互动，可以开盲盒、射箭弹弓玩法。吹气玫瑰、寻宝等等 用户佩戴quest眼镜，可以体验混合现实的身临其境的体验，用于旅游、商场娱乐、营销等；其中可以玩家互动，可以开盲盒、射箭弹弓玩法。吹气玫瑰、寻宝等等

项目分为服务端，客户端 服务端功能： 1.总控游戏开始时机 2.配置游戏房间，可配置房间类型，房间人数，ai数量，游戏时长等 3.监控游戏进程，游戏进程中可随时增加或删除敌人ai 客户端功能： 分为两种客户端 参与游戏的玩家 与 不参与游戏的观察者 观察者 仅能观看游戏内其他玩家之间的交互过程 不能自己介入游戏 玩家功能： 1.基本的射击，换弹，换武器，捡武器，选择角色皮肤，选择武器皮肤等 2.能体验很多契合游戏主题的视觉效果 3.能够借助虚拟场景躲避或是攻击其他对手

1. 迷宫监控端app-可在纸上随意画4*4网格图，线条代表迷宫的墙壁，某个位置线条缺失代表此处不存在墙壁。app任意角度拍摄网格图，或者可以直接使用app绘制图片，人工点击网格线的四个个角，对四个点内的图片做仿射变换将网格图变换成横平竖直的图片，下一步图像处理识别网格图哪里有线条，哪里没有线条，将识别结果通过局域网udp通信发送给vr体验端，生成迷宫使用。同时体验端在游玩时，监控app可以实时显示玩家在迷宫中的位置和朝向，以及可以拖放道具到迷宫中某个位置，体验端会在对应位置生成道具。 2. vr体验端：unity实现，体验端接收到监控端的识别结果后，动态生成迷宫墙壁。玩家佩戴眼镜通过手柄操作在迷宫中探索，拾取迷宫中道具，达成一定目标后迷宫开放出口，玩家可寻找出口走出迷宫，游戏结束。

播放器主要设计项目读取和播放 读取通过protobuf读取项目文件。 播放功能根据读取的项目文件进入主场景，展示主场景中各种元件、热点和触发器并可交互，还包括开场动画的实现，主要是相机动画：小行星缩放、小行星巡游等

游戏server端：用于头显、EYE、服务server 进行本地通讯 本地服务server:用户接受分发所有消息，同时与云端server交互同步数据 PAD控制端：与本地服务server通讯，由本地server分发到其他设备以及游戏server 小程序：用户中心，用户可登录小程序查看战绩、排行、查看附近门店、预定场地、购买服务 CRM：门店管理、用户管理、场地管理、新闻发布、等…… 云端server：接口、数据、三方接口等……

主导开发了基于 AR 技术的运动游戏《AR 激斗》，并参展了2017年淘宝购物节和2017网易梦幻西游线下活动。该游戏结合了玩家实际场景和虚拟效果，在游戏中可以进行各种追逐与躲闪。达到锻炼和娱乐的效果。本游戏要求场地简单，易于铺开推广。

1.对甲方行业内的资料进行整理，提供选择/答题/交互操作等方式进行资料/知识展现 2.创建完整的半开放式的3D虚拟场景，提供多元化内容的展现 3.通过多样化的交互手段，智能引导，以接近游戏的方式让用户产生沉浸式体验 4.表现形式包含图形界面，3D场景，智能语音，视频，图片动画，场景动画等

ipad控制pc大屏操作演示讲解，从公司品牌图文介绍，项目区位动画展示，项目沙盘漫游，项目园林漫游，3d户型轴侧展示，样板间展示交互，ipad可以单独使用，也可以双屏互动展示。可以定制功能开发。H5端手机版也可以出，满足多终端使用。

项目提供了一套实时光线追踪基础库，用于渲染场景。光线追踪是GLSL实现的蒙特卡洛路径追踪算法，支持反射、折射材质。 甲方游戏美术通过shadertoy网站选取合适着色器后直接下载到本地，通过本app适配桌面端OpenGL运行环境，最终实现美术产品所需视觉效果。 本项目已开源：https://github.com/isncg/frag.py

对施工工地一比一逼真还原，设计多个意外风险考核点，体验者带着HTC VIVE头 盔沉浸式进行施工安全教育，并做考核评分提交分数到服务器。采用虚幻引擎开发，带来逼真的效果。项目位于珠海。得到领导一致好评

《华夏探秘》是一款文旅加游戏的项目。以多个探秘任务为导向，融合射箭、爬墙、拍照、坐飞机等多元的 VR 交互，结合顶尖的 VR 画质，从而达到游戏和线上旅游的效果。还有近10款休闲、医疗的B端 VR 游戏，已经上架各大 VR 游戏平台

《节奏人生》是首款大型 VR 音游。三条职业线共十六个关卡，每个关卡都有独特的交互，融合了目前 VR 所有交互形式。交互与音乐的完美契合让玩家产生爽感，已经上架各大 VR 游戏平台。Steam 搜索《节奏人生》。-----------《节奏人生》是首款大型 VR 音游。三条职业线共十六个关卡，每个关卡都有独特的交互，融合了目前 VR 所有交互形式。交互与音乐的完美契合让玩家产生爽感，已经上架各大 VR 游戏平台。Steam 搜索《节奏人生》。-----------