程序聚合 软件案例 基于多模态的聋哑人沟通平台

基于多模态的聋哑人沟通平台

2025-12-07 23:05:42
行业:VR/AR、企业服务(saas)
载体:安卓APP、IOS APP
技术:Dart、JavaScript、Kotlin、FlutterFire

业务和功能介绍

本项目并非单一功能工具,而是一个集成了手语识别与生成、语音识别与合成、智能视觉辅助及多感官内容生成于一体的综合性平台。其核心创新在于实现了跨障碍群体的多模态实时融合与双向转换,并借助高自然度AI虚拟人、自适应个性化学习等前沿技术,在普通智能手机上提供普惠、自然、高精度的沟通体验。

项目实现

实时手语识别与翻译:通过摄像头实时识别手语动作,并将其转换为文字或语音输出。
· 语音识别与合成:将健听人的语音实时转换为文字;将文字信息合成为语音为视障人士播报。
· 智能视觉辅助:为视障人士描述周围环境(如障碍物、文字信息、人物、物品)。
· 多模态沟通闭环:核心功能,实现“手语 ⇄ 文字 ⇄ 语音 ⇄ 环境描述”之间的双向、实时、无缝转换。
· 高自然度手语虚拟人:将输入的文字或语音,实时转换为虚拟人的手语动画进行输出。
· 个性化适应学习:系统持续学习并适应用户的独特习惯,提升识别率。
· 多感官内容生成(增值功能):用户通过语音/文字生成数字图像,并可探索将2D图像转换为触觉3D模型。
· 线上会议/通话实时翻译

示例图片视频


IGvis
24小时内活跃
方向: 前端-跨端开发、后端-C++、
交付率:100.00%
相似推荐
学生成绩管理系统
一、项目概述 学生成绩管理系统 (SGMS) 是一款为高等教育场景量身打造的 B/S 架构信息管理平台。它旨在通过数字化手段,优化传统教学管理流程,解决学生信息、课程与成绩数据分散、权限不清、分析困难等问题。系统精准服务于高校中的管理员、教师、辅导员三大核心用户角色,为他们提供了一个权限分明、操作便捷、数据可视的一站式工作环境。 本项目以提升教学管理效率和实现数据驱动的学业分析为核心目标,通过自动化的业务流程和现代化的用户界面,赋能教育工作者,使其能更专注于教学与学生辅导本身。 二、核心业务流程 系统构建了一个“身份授权 → 任务动态关联 → 数据闭环管理”的创新业务流程: 身份授权 (管理员): 管理员在系统中创建用户账号,并授予其基础角色(如“教师”、“辅导员”)。此时用户仅获得身份,尚未与具体教学任务挂钩。 任务动态关联 (教师/辅导员): 系统的核心特色在于任务的自动绑定。 辅导员在录入学生信息时,系统会捕捉其填写的“班级”名称,并自动将该班级与此辅导员建立“带班”关系。 教师在创建课程时,系统会解析其填写的“适用班级”,并自动为该教师建立与这些班级的“授课”关系。 这种设计使得权限分配不再需要管理员手动干预,而是由业务操作自然驱动,极大地提升了灵活性和准确性。 数据闭环管理 (全员): 教师仅能为自己名下课程录入和管理成绩。 辅导员可查看其所带班级学生的全部学业情况。 管理员拥有全局视野,可进行监督和系统级操作。 所有角色的数据操作都限制在其权限范围内,形成安全的数据管理闭环。 三、系统核心功能 1. 多角色权限体系 管理员 (Admin): 用户与角色管理: 创建、编辑、删除用户账号,并分配角色。可清晰地查看所有用户动态关联的教学任务。 系统级操作: 配置全局参数(如及格分),并能执行“年度升级”操作,一键提升所有学生年级,简化新学年过渡。 教师 (Teacher): 课程与成绩管理: 创建和维护自己讲授的课程,系统自动防止重复创建。只能为自己名下的课程进行成绩的批量录入、单条修改、Excel 导入导出等操作。 辅导员 (Counselor): 学生信息管理: 全权负责自己所带班级的学生档案,支持高效的连续录入、批量导入和信息维护。 学情监控: 可查询和分析所带班级学生的完整成绩单,及时掌握学生学业动态。 2. 亮点功能模块 智能仪表盘 (Dashboard): 作为系统首页,为不同用户动态展示其权限范围内的核心数据 KPI,如学生/课程总数、平均分、成绩分布图表(饼图/条形图/折线图可切换)和课程排行,实现关键信息一目了然。 自动化与效率工具: 连续录入模式: 在新增学生时,系统自动预填大部分信息并生成有序学号,极大提升了批量录入效率。 批量数据处理: 全面支持学生、课程、成绩的 Excel 批量导入与导出,无缝对接线下工作习惯。
教学平台-学岸平台
本项目的目标为解决线上学生管理,老师管理和课程管理的一系列问题。重点解决线上多用户实训实验的问题,让学生可以在线进行课程查看,通过服务器的虚拟环境进行实验制作和实验结果提交,从而可以更好的节省计算机等教学资源;让老师可以在线进行备课和课程发布,在线进行班级,学生以及实验的管理;让管理者可以录入老师,学生和课程信息。
辩论赛事服务系统
立项背景和目标 本项目 Motion Vote 面向高校及线下辩论赛事场景,旨在为赛事组织者提供一套低成本、高可用的实时投票互动解决方案。立项目标包括:降低活动组织与运营成本,提升观众参与度,提供可追溯的数据分析与防舞弊保障,从而实现“现场互动便捷化、数据实时可视化与投票结果可信化”。 2、软件功能、核心功能模块的介绍 系统包含以下核心模块:用户管理(注册、登录、基于角色的权限控制);活动/赛事管理(创建活动、协作管理、参与者导入与票务编码);辩题/动议管理(添加辩题、状态控制与一键切换);实时投票系统(参会者通过票证二维码或活动码入场、初始投票与在辩论过程中实时改票、改票次数限制与投票锁定);大屏展示(通过 WebSocket/Socket.io 实时推送投票数据、丰富可视化主题与远程操控);数据统计与报表(实时看板、活动报告导出)。同时结合多重防作弊策略:IP 限流(示例:每 IP 每分钟上限 10 次)、设备指纹识别与异常行为监控,确保投票公平性。 3、业务流程、功能路径描述 典型业务流程为:组织者在后台创建活动并配置规则(是否允许改票、最大改票次数、展示主题等)→ 批量导入/手动添加参与者并生成票证/二维码 → 观众扫描二维码或输入活动码进入投票界面 → 在辩论不同阶段进行初始投票与实时改票(每次投票事件通过后端校验并计入变更历史)→ 管理端在需要时切换当前辩题或触发最终投票并锁定结果 → 大屏通过 WebSocket 实时同步并展示投票统计与可视化图表 → 比赛结束后导出投票明细与分析报告。整个路径强调低门槛参与(免注册扫码)、实时性(WebSocket 延迟 <1s)与可审计性(全量改票历史与导出)。
模拟联合国后台
业务和功能介绍 本系统目的在于为学校及会议组织方提供一套完整的MUN(模拟联合国)活动管理平台,目标是实现报名、议题分配、日程管理、投票与决议、评分与成绩统计、财务结算以及后台数据监控的闭环服务。核心功能模块包括:1) 用户与代表团管理:学校/代表团注册、代表与指导老师信息维护、权限分级;2) 报名与支付模块:在线报名表单、费用计算、第三方支付或线下对接;3) 议题与日程管理:议题创建、议题分配、分会场与会议日程编排;4) 会议现场支持:入场签到、发言排序、实时投票、草案提交与修订;5) 评分与结果统计:评分规则配置、自动汇总、优秀代表与最佳代表团评选;6) 后台管理与报表:用户/活动统计、账务报表、权限管理与日志审计。业务流程从学校注册→代表团报名→管理员审核→议题与日程规划→代表登录与准备→会议期间签到/发言/投票→评分与结项、账务结算、结果导出。典型功能路径示例:代表登陆→查看个人议题与日程→进入分会场→提交发言申请→投票/表决→查看评分与最终排名。系统强调易用性、流程可追溯以及数据导出/可视化能力,便于组委会在会前会中会后高效运作。
学校教育系统-教学
学校教育系统(Educational Information System)是一套集教学、教务、学生管理、教师发展、家校互动、后勤保障于一体的综合性信息化平台。通过整合大数据、云计算、人工智能等技术,提升教育质量、优化管理流程、促进家校协同。主要业务场景 业务领域 典型应用场景 教学管理 排课、调课、课堂考勤、在线作业、考试分析 学生管理 学籍档案、成长记录、奖惩管理、心理辅导 教师发展 教案管理、教研活动、绩效考核、培训记录 考试评估 在线组卷、智能阅卷、成绩分析、学业预警 家校共育 成绩通知、作业推送、家长会预约、消息互通 校园安全 视频监控联动、门禁通行、访客登记、紧急报警 智慧后勤 食堂消费、宿舍管理、设备报修、能耗监测
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服