程序聚合 软件案例 基于多模态的聋哑人沟通平台

基于多模态的聋哑人沟通平台

2025-12-07 23:05:42
行业:VR/AR、企业服务(saas)
载体:安卓APP、IOS APP
技术:Dart、JavaScript、Kotlin、FlutterFire

业务和功能介绍

本项目并非单一功能工具,而是一个集成了手语识别与生成、语音识别与合成、智能视觉辅助及多感官内容生成于一体的综合性平台。其核心创新在于实现了跨障碍群体的多模态实时融合与双向转换,并借助高自然度AI虚拟人、自适应个性化学习等前沿技术,在普通智能手机上提供普惠、自然、高精度的沟通体验。

项目实现

实时手语识别与翻译:通过摄像头实时识别手语动作,并将其转换为文字或语音输出。
· 语音识别与合成:将健听人的语音实时转换为文字;将文字信息合成为语音为视障人士播报。
· 智能视觉辅助:为视障人士描述周围环境(如障碍物、文字信息、人物、物品)。
· 多模态沟通闭环:核心功能,实现“手语 ⇄ 文字 ⇄ 语音 ⇄ 环境描述”之间的双向、实时、无缝转换。
· 高自然度手语虚拟人:将输入的文字或语音,实时转换为虚拟人的手语动画进行输出。
· 个性化适应学习:系统持续学习并适应用户的独特习惯,提升识别率。
· 多感官内容生成(增值功能):用户通过语音/文字生成数字图像,并可探索将2D图像转换为触觉3D模型。
· 线上会议/通话实时翻译

示例图片视频


IGvis
30天前活跃
方向: 前端-跨端开发、后端-C++、
交付率:100.00%
相似推荐
有游戏关卡机制的记单词微信小程序-熊猫记单词
1,早年做过游戏开发,也玩过不少游戏,一直想把游戏里黏人的机制复刻到学习工具里,游戏黏人的机制其中之一就是“压力-释放同时建立新压力-驱动循环”最典型的就是“关卡机制”;另外,单词助记内容对牢固记单词有帮助,以及单词复习规律需符合艾宾浩斯遗忘曲线,这些都可以作为学习工具的功能。 2,小程序核心关卡系统,用户将购买到的词库里的单词灌入关卡系统,系统每天根据艾宾浩斯记忆遗忘曲规律指定的学习(复习)计划,产生一些待学习(复习)单词构成的关卡,用户进入关卡闯关是要先默写单词的(每关3~8个单词),一关单词默写结束提交后如果有错误,则这个单词会增加复习次数,并且将已有的复习计划都提前,并且自动进入学习单词的页面去学习,学习内容除了单词信息外还有助记内容。
saas平台
1.现在旅游和教培行业发展潮流,自研saas软件,区分租户及权限,方便用户使用 2.功能:系统用户,租户,票务模块,OA模块,分销模块,商管模块,财务模块 3.根据租户分配不同菜单权限,可以根据购买套餐,使用不能的模块功能
K12教育征订
整体是b2b2c模式。 主要用于用户可线上参与活动购买零售或其他商品,积分参与等等; 后台管理,商品加工,活动发布,数据统计,权限管理等等; 有支付功能,对接银行,微信,支付宝等; 还有一些对客户针对性的功能开发。
某公考教育平台小程序开发
某公考教育平台需要开发小程序版,并通过小程序实现新的营销和获客渠道。由于小程序用户客群非常大,所以开发小程序版的主要目的就是拓展小程序渠道,使用户可以通过小程序直接访问平台,并直接购课,同时通过基于小程序的营销手段,激活用户,引导用户最终使用平台产品。
网络安全ctf与awd比赛平台-网络安全赛事中心
1.立项背景:高校网络安全专业与战队在组织校内外 CTF(Capture The Flag,夺旗赛)和 AWD(Attack WithDefense,攻防对抗赛)时,长期依赖开源平台或第三方在线靶场。现有方案普遍存在三类痛点:一是开源平台功能割裂,传统解题赛(Jeopardy)与攻防对抗赛需要两套系统分别部署,数据与选手账号无法打通;二是容器靶场编排能力弱,题目环境需人工搭建,动态Flag、按队伍隔离、过期回收等能力缺失或需要大量二次开发;三是缺少面向国内高校赛事的定制化能力,如队伍审核、报名审批、真实身份核验、邮箱验证码注册、作弊检测等。本项目立项目标即自研一套统一支持 CTF 与 AWD 双赛制、全流程线上化的网络安全竞赛平台。 2.建设目标。 (1)覆盖竞赛全生命周期:建赛、出题、报名审核、选手参赛、答题计分、容器下发、排行榜、作弊检测、Writeup评审、日志审计;(2)支持三种 CTF 题型(静态题、动态附件题、容器题)与完整的 AWD 攻防对抗机制(OpenVPN靶场接入、双网络隔离、自动 Check、分池计分、靶机重置);(3)工程上做到高可用、可运维:容器/附件/轮次全自动调度与过期回收、多级日志与审计、滑动窗口限流、启动自愈清理脏数据。目前平台已完成主体功能开发并在真实比赛环境中投入使用。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服