程序聚合 软件案例 即时在线数字人

即时在线数字人

2025-06-12 17:49:29
行业:社交、人工智能
载体:H5
技术:Python、OpenCV、PaddlePaddle、PyTorch

业务背景

现在市面上常的数字人是静态渲染成视频的。
项目立项的时候就希望做成可以直播的数字人,响应速度即快,同时可以通过大语言模型实时回答问题。

功能介绍

1、前端语音或者文字输入问题
2、后端接受到语音,通过asr转化成文本,输入给大模型,大模型推理出结果后,发送给TTS模块,tts模块将文本转化成wav语音,口型模块加载底图(视频)和wav波形,生成序列帧,后端把序列帧发送给客户端完成语音+视频的结果反馈。

项目实现

全部我一个人做的。
TTS文本转语音的性能优化,口型模块性能优化,这是两个最核心的需求点,如果速度不快,就会卡住不流畅。

示例图片视频


雷r
1天前活跃
方向: 人工智能-语音识别与合成、人工智能-计算机视觉与图像处理、
交付率:100.00%
相似推荐
drissionPageAndSeleniumDevlop
1. 网页数据采集功能 支持多站点、多类型页面的数据抓取,包括: 商品信息 / 课程信息 / 招聘信息 / 用户评论 / 发帖内容 等。 兼容静态页面与 JavaScript 渲染页面,具备动态内容解析能力。 提供字段提取、数据清洗、结构化输出能力,自动纠正部分脏数据或格式异常。 2. 用户行为模拟功能 模拟常见用户行为,包括: 登录 / 注册 / 签到 / 表单提交 / 评论发布 / 点赞收藏 等。 支持滑动验证码破解(打码平台接入)、Cookie 自动管理与会话持久化。 可批量处理多个账号,设置行为间隔、模拟真实用户操作节奏。 3. 反反爬机制支持 实现多层次防封锁机制,包括: 动态 User-Agent / Referer 模拟 高匿代理池轮换与自动检测 浏览器指纹伪装(UA、语言、分辨率、WebGL 伪装等) 基于 JS 逆向的 Token/签名参数生成 支持 Playwright、Selenium 等驱动下的无头浏览器与可视化调试模式。 4. 任务调度与容错机制 自定义调度系统,支持定时抓取、增量更新、周期性签到或执行任务。 实现任务队列、失败重试机制、异常自动重启。 所有操作记录详尽日志,支持错误通知、执行结果邮件/钉钉推送。 5. 数据存储与接口输出 支持多种存储方式: 本地 CSV/JSON 数据库:MySQL / MongoDB / Redis 提供 API 接口服务,供前端页面、管理后台、分析平台调用使用。 6. 配置化与扩展性 所有任务脚本配置化,支持快速添加新站点或新逻辑模块。 核心代码模块解耦,便于多人协作与后期维护。 可作为基础平台用于衍生业务,如舆情监测、内容聚合、竞品分析等。
加速器
1.后端部分采用Spring Boot和Vue构建,利用AOP切面方式实现了AES数据前后端加密,提升了数据传输的安全性。 2.用户鉴权方面,我引入了JWT(JSON Web Token)技术,实现了平台内容的分级机制和用户设置的云端同步。 3.为了支持集群化部署,我使用Docker容器技术,允许系统在任何陌生机器上快速启动,确保了高度的可移植性和扩展性。 4.在缓存模块中用redis来缓存短信和客户常用的数据,使用canal来确保redis和mysql数据的一致性。 5.利用redis中ZSet的zRangByScore来控制短信一定时间内发送次数的限流。 6.使用Nacos作为项目的注册中心和配置中心,配合@P-freshScope注解完成配置的动态更新 7.在监控xxfiob去定时的查看消息队列中的消息数量和查看用户的余额,来防止消息队列中的消息产生消息堆积的情况以及用户余额不足时通过发送邮件的方式提醒用户补充余额。 8.在网络传输设计与开发方面,我包括了VPN连接、Wintun模式开发、Process模式开发和协议定制等关键功能。 9.底层开发方面,我使用了C++,同时结合C#来与C++通信,以调用底层系统内容,实现防火墙配置 Redirector进程分配、路由转发配置以及驱动安装。
手机游戏-奥特曼系列ol
1. 手游项目后端业务开发,自动化工具编写,gm后台开发 包含部分前端 2. 公司电脑,无线路由器等 设备的故障排查,桌面维护 3. 公司机房的设备部署 核心路由器,核心交换机,安装调试 4. 线上云服务器 linux centos 系统监控 安全性管理防火墙等
农场小游戏
1.项目目的 以社交游戏的形式,聚拢用户。用游戏奖励兑换的方式,实现游戏用户向App用户转化。 2.主要目标 用分享与“需要帮助”等游戏内容最大化吸引用户量,用兑换码奖励进行用户转化。 3.基础玩法 玩法架构以种蔬菜换钱的生态过程为主要切入点。流程如下: 1. 种蔬菜。 2. 收获。 3. 卖蔬菜 4. 买种子
unity放置游戏
登录系统,使用taptap及短信注册登录游戏 支付系统,使用第三方支付sdk充值购买道具 植物系统,游戏玩法种植不同的植物获得资源制作家园装扮, 家园装扮系统,根据自己的喜好自由装扮地图 角色系统,模拟小动物各种行为,和家园装扮互动,换装
帮助文档   Copyright @ 2021-2024 程序聚合 | 浙ICP备2021014372号
人工客服