程序聚合 软件案例 基于多模态的聋哑人沟通平台

基于多模态的聋哑人沟通平台

2025-12-07 23:05:42
行业:VR/AR、企业服务(saas)
载体:安卓APP、IOS APP
技术:Dart、JavaScript、Kotlin、FlutterFire

业务和功能介绍

本项目并非单一功能工具,而是一个集成了手语识别与生成、语音识别与合成、智能视觉辅助及多感官内容生成于一体的综合性平台。其核心创新在于实现了跨障碍群体的多模态实时融合与双向转换,并借助高自然度AI虚拟人、自适应个性化学习等前沿技术,在普通智能手机上提供普惠、自然、高精度的沟通体验。

项目实现

实时手语识别与翻译:通过摄像头实时识别手语动作,并将其转换为文字或语音输出。
· 语音识别与合成:将健听人的语音实时转换为文字;将文字信息合成为语音为视障人士播报。
· 智能视觉辅助:为视障人士描述周围环境(如障碍物、文字信息、人物、物品)。
· 多模态沟通闭环:核心功能,实现“手语 ⇄ 文字 ⇄ 语音 ⇄ 环境描述”之间的双向、实时、无缝转换。
· 高自然度手语虚拟人:将输入的文字或语音,实时转换为虚拟人的手语动画进行输出。
· 个性化适应学习:系统持续学习并适应用户的独特习惯,提升识别率。
· 多感官内容生成(增值功能):用户通过语音/文字生成数字图像,并可探索将2D图像转换为触觉3D模型。
· 线上会议/通话实时翻译

示例图片视频


IGvis
30天前活跃
方向: 前端-跨端开发、后端-C++、
交付率:100.00%
相似推荐
线上教育
1、立项背景:该项目是一个提供用户线上看课、学习、模拟考试的学习平台 2、核心功能模块: 用户模块:用户个人信息管理 课程中心:各类课程查询、购买、试看、直播课等功能 学习中心:记录用户的学习记录,答题记录 答疑模块:学习期间遇到的问题,线上提交、老师答疑 题库模块:用户可以在视频学习后,进行试题训练检测学习成果 学服模块:用户购买课程后续跟踪服务 支付模块:课程购买付款(微信、支付宝、银行卡等) 3、业务流程(网页端和App端): 选课:用户登录后,进入首页,可以看到推荐的系统课和公开课,可以根据科目类型选择想要学习的课程进行购买,购买后可以在我的里面看到自己购买的课程 学习:进入我的页面,展示的是最新学习的课程,可以看到学习进度、时长等信息 题库:进入我的页面,可以看到自己的答题记录,也可以继续答题练习
AI学生手册问答助手-学生手册助手
本项目是一个面向学生事务资料查询场景的 AI 问答工具,主要解决学生在阅读学生手册、校规文件和办事流程时查找困难、理解成本高、重复咨询多的问题。 系统支持基于已整理资料进行智能问答,用户可以咨询学籍管理、考试安排、奖学金、请假、处分、实践学分等规则类问题。项目提供普通回答和专业回答两种模式:普通回答适合快速查询,专业回答会补充依据、办理流程、可信度提示和必要的流程图说明。 系统还支持资料上传学习功能,可将 Markdown 或文本格式的规章文件加入知识库,使问答范围不局限于默认资料。整体目标是把分散、较长、阅读门槛较高的制度文件,转化为更容易理解和检索的交互式问答体验。
AI英语学习平台-VerbaPath
SmartLearn Pro 是一个面向英语学习场景的 AI 学习平台,核心目标是把文章、单词、听说读写训练和复习计划整合到一个学习闭环中。系统支持文本/PDF 导入、AI 阅读分析、生词提取、闪卡复习、记忆曲线复习、阅读考试训练、翻译挑战、AI 写作批改、口语教练、学习笔记、知识图谱和学习流画布等功能。 用户可以导入学习资料,系统自动生成词汇、语法结构、阅读理解题和复习内容;在学习过程中可以将生词、难句、错题和写作素材沉淀为笔记,并通过 FSRS 记忆算法安排后续复习。项目还集成了语音识别、AI 对话和 TTS 语音合成能力,用于模拟 IELTS、商务英语、日常聊天等口语训练场景,帮助用户完成从输入、练习、反馈到复习的完整学习流程。
全口义齿加工虚实结合系统
口义齿加工虚实结合系统利用虚拟现实(VR)和增强现实(AR)技术,将人体口腔、义齿制作以3D形式呈现,为学生提供沉浸式的学习体验。学生可以通过旋转、缩放和分解模型,清晰观察每个细节,这种精细化展示使学习变得更加直观和具体。学生可以通过力反馈系统或触摸屏直接与模型互动,模拟加工功能,让复杂的口腔学知识更加生动易懂。完全摆脱了对真实人体标本的依赖,解决了高质量解剖标本供不应求、获取和维护成本高昂的问题。学生可以无限次重置模型并重复操作,不再受时间和标本数量的限制,有助于熟练掌握复杂的口腔知识和操作技能。
跨平台论文检索系统
行业场景 当前毕业生、研究生等在毕业论文攥写方面对于现有论文的检索来说十分不方便,需要多个平台检索关键词搜索到符合自身专业的专业性论文,这导致在攥写毕业论文的过程中效率极具下降,所以编写了这套多平台论文检索系统 功能介绍 1.具体有论文关键词检索模块、预览模块、条件筛选模块等 2.主要功能为用户输入相关关键词后,设定筛选条件,搜索出多平台的论文后,可支持用户预览部分原文、跳转到论文原网址等功能
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服