程序聚合 软件案例 即时在线数字人

即时在线数字人

2025-06-12 17:49:29
行业:社交、人工智能
载体:H5
技术:Python、OpenCV、PaddlePaddle、PyTorch

业务和功能介绍

现在市面上常的数字人是静态渲染成视频的。
项目立项的时候就希望做成可以直播的数字人,响应速度即快,同时可以通过大语言模型实时回答问题。
1、前端语音或者文字输入问题
2、后端接受到语音,通过asr转化成文本,输入给大模型,大模型推理出结果后,发送给TTS模块,tts模块将文本转化成wav语音,口型模块加载底图(视频)和wav波形,生成序列帧,后端把序列帧发送给客户端完成语音+视频的结果反馈。

项目实现

全部我一个人做的。
TTS文本转语音的性能优化,口型模块性能优化,这是两个最核心的需求点,如果速度不快,就会卡住不流畅。

示例图片视频


雷r
30天前活跃
方向: 人工智能-语音识别与合成、人工智能-计算机视觉与图像处理、
交付率:100.00%
相似推荐
拾金者
本想自主研发的一款在线网页游戏。 游戏地址:https://12345.sale/gold/ 「缩放画面」:滚动鼠标中键(同CAD) 「拖动画面」:点住鼠标中键,然后移动鼠标(同CAD) 「拖动对象(如:人物、动物、植物)」:把鼠标移动到目标对象,点住鼠标左键,然后移动鼠标 「跟踪对象」:把鼠标移动到目标对象,单击鼠标右键(注意:1、程序默认跟踪女孩,可手动取消跟踪。2、对于移动速度较快的对象,需要足够快的手速才能成功点击。) 「取消跟踪对象」:点击状态栏的「取消跟踪」按钮 「播放/暂停背景音乐」:点击状态栏的「BGM」按钮 淘金者:一个锲而不舍的淘金女孩,她会前往每个金矿的位置收集这些金矿; 小蓝鸟:作为淘金者的好朋友,它如影随形地陪伴在「淘金者」的身侧; 蝴蝶:在各「花」对象之间停留和往返; 燕子:在各「树」对象之间停留和往返; 狗:作为人类的忠实朋友,狗将会往返于「人」对象和「房屋」对象之间以帮助人类传递讯息; 你,作为这个世界的幕后操控者,可用鼠标拖动任何对象穿梭于虚拟空间的每一个角落,在它们毫无防备与察觉之下,悄无声息地操控这个世界的流转。
游戏制作-仿制黄金矿工
我们选择了简单易懂的Python语言。它就像搭积木一样,用清晰的代码块就能构建游戏世界:Pygame库负责让钩爪"活"起来,Photoshop把矿洞画得栩栩如生,PyCharm开发工具就像智能助手,随时帮我们修正代码里的"小马虎"。整个过程就像拼乐高,看着简单的零件逐渐变成精巧的矿车、闪烁的宝石,这种创造的快乐,正是游戏开发最迷人的地方。
小六免费网
1,目前分为短剧类,游戏类,游戏补丁类,常用工具,还有小六工具这几个模块。 2,游戏主要是分享一些转载来的游戏,不存在侵权行为,如有侵权,立刻删除。 3,常用工具主要是装机工具,还有编辑工具等日常用到的工具,网站目的只是方便用户去下载,因为其他网站下载有很多广告,我们主要为了让用户能够无广告的去下载常用软件。 4,主要是自研工具让大家免费使用,将来会研发更多的工具放上去,目前正在完善中。
H5游戏聚合服务
1.前端基于CocosCreator,服务器基于NodeJS,采用WebSocket通讯; 2.H5前端与游戏服务器的状态同步,即前端不参与任何数据计算,完全保证用户数据安全性 3.H5页面通过url参数及APP提供的“桥”与APP直接交互,游戏服务器与APP服务器使用HTTP(S)请求交互,涉及白名单,请求压缩等功能; 4.游戏内容,根据不同的游戏类别,提供不同的游戏内容; 5.Redis缓存,实现游戏运行时数据的热更新。
u3d开发的AVG文字冒险游戏
1.AVG功能 2.小的集卡战斗 3.小游戏合集 AVG主要是文字冒险,包括对话,角色头像,互动演出等等 集卡战斗是卡牌战斗的设计方式,类似宝可梦的战斗舞台 小游戏包括连连看,记忆力挑战等,主要是为了获取游戏内资源
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服