程序聚合 软件案例 基于多模态的聋哑人沟通平台

基于多模态的聋哑人沟通平台

2025-12-07 23:05:42
行业:VR/AR、企业服务(saas)
载体:安卓APP、IOS APP
技术:Dart、JavaScript、Kotlin、FlutterFire

业务和功能介绍

本项目并非单一功能工具,而是一个集成了手语识别与生成、语音识别与合成、智能视觉辅助及多感官内容生成于一体的综合性平台。其核心创新在于实现了跨障碍群体的多模态实时融合与双向转换,并借助高自然度AI虚拟人、自适应个性化学习等前沿技术,在普通智能手机上提供普惠、自然、高精度的沟通体验。

项目实现

实时手语识别与翻译:通过摄像头实时识别手语动作,并将其转换为文字或语音输出。
· 语音识别与合成:将健听人的语音实时转换为文字;将文字信息合成为语音为视障人士播报。
· 智能视觉辅助:为视障人士描述周围环境(如障碍物、文字信息、人物、物品)。
· 多模态沟通闭环:核心功能,实现“手语 ⇄ 文字 ⇄ 语音 ⇄ 环境描述”之间的双向、实时、无缝转换。
· 高自然度手语虚拟人:将输入的文字或语音,实时转换为虚拟人的手语动画进行输出。
· 个性化适应学习:系统持续学习并适应用户的独特习惯,提升识别率。
· 多感官内容生成(增值功能):用户通过语音/文字生成数字图像,并可探索将2D图像转换为触觉3D模型。
· 线上会议/通话实时翻译

示例图片视频


IGvis
30天前活跃
方向: 前端-跨端开发、后端-C++、
交付率:100.00%
相似推荐
xxx管理系统-xxx管理系统
本项目为基于C++/Qt开发的Windows桌面端学生信息管理系统,旨在解决传统人工统计效率低、易出错的问题。核心功能包含学生信息录入、查询、修改、删除、批量导入导出,以及成绩统计、班级管理等模块,支持数据本地持久化存储,界面操作简洁,可快速完成日常教务数据管理工作。
序界 AI 动态计划与评测平台
序界是一套面向长期目标管理与职业考试备考场景的 AI 动态计划与评测平台。系统围绕“目标澄清、阶段拆解、任务编排、执行反馈、动态调整”形成完整闭环,当前已落地账号体系、计划创建、AI 生成计划、题库练习、模拟测试、主观题 AI 评阅、AI 解析、资产商城、会员支付和多端协同等核心能力。除面向用户的计划与评测能力外,平台还建设了管理员题库导入引擎,支持原始资料上传、OCR 识别、页级文本校对、结构化草稿生成和正式导入题库,解决了职业考试内容数字化、结构化和批量接入效率低的问题,为平台持续扩充高质量题库资产提供了底层支撑。 访问链接:https://xujie.ywsfs.cn/
中数小智小程序
立项原因,快速对学生做的试题进行批改。 行业场景,为了解决辅助老师批改作业和学生做题后批改。 主要的功能模块,登陆模块,错题本,批改记录,单体批改,整页批改,跨页题批改,批量批改等。 错题本可以收藏批改的每一道题,把每一道题单独切分出来进行收藏。批改流程是,学生把做完的习题拍照后,系统自动切题,把每一道题进行批改和坐标识别。
乐播课堂直录播课程平台-乐播课堂
1. 立项背景和目标 随着 K12 在线教育行业爆发式增长,东方优播原有分散的直播、录播系统已无法支撑业务快速扩张。不同学科、不同班型使用独立技术栈,导致维护成本高、数据不互通、高峰时段系统频繁崩溃。本项目旨在打造统一的乐播课堂直录播中台,整合 AI 录播、大班直播(1v1000+)、小班直播(1v16)等多种业务形态,覆盖数学、英语、物理等全学科教学场景。核心目标是保障高峰时段(晚 19:00-21:00)系统稳定运行,支持 2 万 + QPS 并发,实现 99.99% 的服务可用性,同时提升师生互动体验和教学效率。 2. 软件功能、核心功能模块介绍 平台采用模块化设计,核心功能模块包括: 直播中台:支持实时音视频传输、屏幕共享、白板互动、举手发言、抢答选人等核心教学功能 录播中台:提供 AI 自动录课、视频剪辑、智能字幕生成、知识点切片等功能 约课系统:实现课程排期、学生选课、教师排班、冲突检测等全流程管理 互动答题系统:支持选择题、填空题、主观题等多种题型,实时统计答题结果并生成学情报告 数据分析系统:多维度统计上课时长、参与率、答题正确率等教学数据,为教学优化提供支撑 3. 业务流程、功能路径描述 完整教学业务流程如下: 教师端:创建课程→上传课件→设置互动环节→开启直播 / 录播 学生端:浏览课程→预约课程→进入教室→参与互动答题→查看回放和学情报告 平台端:实时监控系统状态→处理异常情况→生成教学数据报表
基于Web的在线学习系统的设计与实现
一、立项背景与目标 随着编程教育的普及,高校和培训机构对在线化教学管理的需求持续增长。传统教学模式中,课程资源分散、作业批改依赖人工、学习进度难以追踪,既增加了教师的管理负担,也使学生缺乏及时的反馈机制。 本系统针对上述问题,以"编程学习"为核心场景,构建一套面向教师和学生双角色的在线教育平台。 主要目标: 支持教师完成课程创建、章节管理、班级组织、作业发布的全流程管理 支持学生完成视频学习、进度追踪、在线作答、代码提交与即时评测的完整学习闭环 通过安全沙箱实现 Python、C、Java 三种语言的自动代码评测,替代人工批改 通过防刷课机制保障学习行为的真实性,通过统计分析为教学决策提供数据支撑 二、软件功能与核心功能模块 系统分为六个核心模块: 身份认证模块 支持学生和教师两种角色注册,基于邮箱密码登录,使用 JWT 令牌进行全局鉴权。所有接口均需携带有效令牌,教师和学生的操作权限在服务端按角色严格隔离。 课程管理模块 教师可创建课程、添加章节(含文字内容和视频链接),支持 HTML5 原生视频和 B 站嵌入两种播放形式。学生可浏览课程列表、进入章节学习,支持关键词搜索和按班级筛选课程。 班级管理模块 教师创建班级时自动生成邀请码,学生凭邀请码加入班级。班级与课程、作业关联,教师可在班级内发布公告、管理成员、查看班级整体成绩报表。 作业管理模块 教师以课程为单位创建编程作业,配置题目描述、截止时间、前置章节要求和测试用例(含公开样例和隐藏测试点)。学生在作业页面使用内置代码编辑器编写代码,提交后立即触发自动评测,实时返回每个测试点的通过情况、执行时间和错误信息。 代码执行安全沙箱(核心子模块) 支持 Python、C、Java 三种语言。执行前进行静态安全检测(危险函数黑名单、危险头文件、内联汇编、宏别名绕过、格式化字符串漏洞等),编译阶段加入多重 GCC 加固选项,运行阶段限制内存(128MB)、超时(5秒)、最大输出(1MB)和并发数(5个),防止恶意代码危害服务器。 学习进度与防刷课模块 实时记录学生视频观看进度,采用四层防刷课机制:更新频率限制(间隔2秒)、单次进度增幅限制(不超过5%)、观看速度限制(不超过2倍速)、最小学习时长校验(至少观看视频时长的30%)。前端记录实际观看时间段,区分有效观看与拖拽快进。 成绩统计分析模块 学生可查看个人在各课程中的作业通过率和学习进度;教师可查看班级整体成绩分布、各作业的提交情况对比,支持数据导出。 三、业务流程与功能路径描述 教师发布课程和作业的路径 教师注册登录后,在课程列表创建课程并逐章添加内容(文字说明或视频链接,同时填写视频时长供防刷课使用)。创建班级并获得邀请码,将课程添加至班级。在课程详情页发布作业,配置题目、截止时间和测试用例,可设置该作业要求学生先完成指定章节的学习。 学生学习并
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服