本项目为一套面向多语种教学与会议场景的实时语音翻译与课件同步系统,包含PC端教师/会议主持端与Android端学生/参会端。核心功能覆盖四大维度:
1. 多语种实时翻译与字幕:PC端通过Azure Speech SDK进行实时语音识别,支持设置源语言(发言语言)与多种目标语言(翻译语言),并将识别结果实时翻译为多语种字幕,同步推送至PC端与所有Android学生端显示。
2. 课件管理与多语种同步:支持教师上传PPTX/DOCX/XLSX格式课件(最多3个),后台完成文档翻译后推送多语言版本;PC端通过腾讯SDK展示课件,翻页操作以<100ms延迟同步至所有学生端,学生端可自主切换查看不同语言版本的课件。
3. 双模式课堂/会议控制:
- 授课模式:教师可管理学生列表、控制发言权限(开启/关闭批量控制),学生需长按发言按钮经教师授权后发言。
- 会议模式:支持举手发言机制,教师/会议秘书可批准或拒绝发言请求;同时支持远程收音功能,可收取PC内置音轨配合Zoom等会议软件进行翻译。
4. 课程记录与下载权限:课程结束后自动生成包含原文、译文、语音文件的课程记录,上传至后台;教师可开启学生下载权限并生成二维码,学生端扫码下载。
1. 系统架构:采用C/S架构,PC端作为WebSocket服务端,Android端通过IP地址与端口(9102)配对连接(配对密码:123456),建立双向通信通道。后台服务负责课件翻译任务调度、课程记录存储、WebSocket连接数管理(限制最大连接数)及二维码生成。
2. PC端实现:
- 基于Qt QML + C++ 开发桌面应用,QML负责界面层渲染与交互,C++实现业务逻辑、网络通信与底层音频处理;集成Azure Speech SDK实现连续语音识别与多目标语言翻译。
- WebSocket服务端(C++实现)负责与所有Android客户端保持长连接,广播翻译字幕、课件翻页指令(延迟<100ms)及控制消息。
- 课件模块集成腾讯文档SDK实现PPT/DOCX/XLSX在线展示与播放;后台提供文档翻译服务(调用第三方翻译API或自建翻译引擎),翻译完成后推送翻译版本文档链接。
- 支持暂停/恢复语音识别、修改语言设置、动态替换课件等课程中操作。