业务和功能介绍
本项目是一款面向智慧文旅场景的数字人 AI 导游产品（国家级比赛项目），旨在解决传统景区讲解人力成本高、交互单一、游客个性化问答难以满足等痛点。系统以大语言模型为核心，结合面部驱动与语音合成技术，打造出可实时对话、形象逼真的智能文旅数字人，为游客提供沉浸式、低延迟的多模态语音交互体验。
核心功能模块包括：1）景区知识问答：基于 RAG 知识库对景区文档进行自动切片与向量化存储，游客可通过自然语言就景点历史、路线、服务设施等进行实时提问；2）数字人形象交互：对接面部驱动与语音合成模型，实现口型同步、音视频流式渲染的拟人化讲解；3）多模型智能调度：在大语言模型与多模态模型之间协同工作，兼顾响应速度与视觉分析需求；4）游览数据分析：异步归档游览历史，并对游客对话趋势与情感进行量化分析，为景区运营提供数据支撑。
业务流程为：游客发起语音/文字提问 → 系统语义检索知识库并生成回答 → 驱动数字人以音视频形式实时呈现 → 后台异步归档与分析交互数据，形成体验闭环。
核心功能模块包括：1）景区知识问答：基于 RAG 知识库对景区文档进行自动切片与向量化存储，游客可通过自然语言就景点历史、路线、服务设施等进行实时提问；2）数字人形象交互：对接面部驱动与语音合成模型，实现口型同步、音视频流式渲染的拟人化讲解；3）多模型智能调度：在大语言模型与多模态模型之间协同工作，兼顾响应速度与视觉分析需求；4）游览数据分析：异步归档游览历史，并对游客对话趋势与情感进行量化分析，为景区运营提供数据支撑。
业务流程为：游客发起语音/文字提问 → 系统语义检索知识库并生成回答 → 驱动数字人以音视频形式实时呈现 → 后台异步归档与分析交互数据，形成体验闭环。
项目实现
整体采用前后端分离架构，后端基于 Spring Boot 4.0 + Spring AI 构建，围绕"高可用、低延迟、可扩展"进行设计，将大模型能力、知识检索、多媒体渲染与异步任务解耦为独立模块。
我作为核心后端开发，主要负责：
1）RAG 与智能问答：基于 Spring AI 封装 VectorSearch 接口，实现景区文档的自动切片与向量化存储，显著提升问答的语义检索准确度。
2）模型调度与流式渲染：将提示词模板集中存储于 Redis 并支持动态更新，避免硬编码，实现提示词的热更新与统一管理；对接 MuseTalk v1.5 与 Cosyvoice 3，在 RTX 5090 算力下实现 25fps 音视频流的稳定返回，将端到端对话延迟控制在 5 秒以内。
3）架构解耦与异步化：引入 RabbitMQ 将文档向量化解析、游览历史归档等重载任务异步处理，保障对话接口高可用；并借助大模型异步分析游客对话趋势与情感波动，实现体验量化。
遇到的难点与解决方案：面对音视频实时渲染延迟高的问题，通过 Redis 缓存提示词 + RabbitMQ 异步卸载重载任务的组合方案，成功将端到端延迟压缩至 5 秒内，保障了交互流畅度与系统稳定性。
我作为核心后端开发，主要负责：
1）RAG 与智能问答：基于 Spring AI 封装 VectorSearch 接口，实现景区文档的自动切片与向量化存储，显著提升问答的语义检索准确度。
2）模型调度与流式渲染：将提示词模板集中存储于 Redis 并支持动态更新，避免硬编码，实现提示词的热更新与统一管理；对接 MuseTalk v1.5 与 Cosyvoice 3，在 RTX 5090 算力下实现 25fps 音视频流的稳定返回，将端到端对话延迟控制在 5 秒以内。
3）架构解耦与异步化：引入 RabbitMQ 将文档向量化解析、游览历史归档等重载任务异步处理，保障对话接口高可用；并借助大模型异步分析游客对话趋势与情感波动，实现体验量化。
遇到的难点与解决方案：面对音视频实时渲染延迟高的问题，通过 Redis 缓存提示词 + RabbitMQ 异步卸载重载任务的组合方案，成功将端到端延迟压缩至 5 秒内，保障了交互流畅度与系统稳定性。
示例图片视频
相似推荐
掌控直播
1.主要是一个RC直播平台，主要功能是主播可以进行直播，然后用户可以进入喜欢主播的观看直播。
2.可以支付且对喜欢的主播进行关注以及赠送礼物和在线聊天。
3.可以操作RC遥控车进行远程游玩，操作画面有第一视角和第三视角进行切换。
4.可以上麦。
RK3588 边缘 AI 视觉事件平台-vislbox
1.项目背景和目标
背景：工业视觉场景（冷库安全监测、区域入侵检测、人员行为识别）普遍依赖云端 AI
方案，存在带宽成本高、延迟大、数据隐私风险等问题。端侧 AI 推理是明确趋势，但 RK3588 等边缘平台在工程化落地时面临模型部署、硬件加速、进程管理、稳定性保障等一系列工程难题。
目标：在 RK3588 平台上，从零构建一套可交付的边缘 AI 视觉推理系统，实现摄像头采集 → 硬件解码/预处理 → NPU 推理 → 结构化事件输出 → 远程运维监控的全链路产品化闭环。
2. 软件功能
核心功能模块
多源采集：V4L2 USB 摄像头、RTSP 网络流、视频文件、
硬件加速预处理：RGA 硬件加速 resize / CSC / letterbox，释放 CPU 给推理
NPU 推理引擎：RKNN 模型加载/推理、YOLO 检测类后处理适配、INT8 量化
结构化输出：JSONL 检测结果实时输出、TCP/UDS 事件流，直接对接业务系统
进程守护：mlfw-d 守护进程管理 pipeline 生命周期，异常自动重启
远程运维：Agent + tunnel-server 构建设备心跳/诊断上报链路
3.核心业务流程
命令行启动 →camera/rtsp/视频文件流 →MPP 解码 → NV12 原始帧 → RGA resize + letterbox (640x640) → RKNN NPU 推理 → 后处理 (NMS + 坐标映射) → 检测框绘制
豆瓣top250-爬虫
本项目用于自动化采集豆瓣电影Top250榜单数据，包括电影名称和评分。通过定时或按需运行，可快速获取当前热门高分影片列表，为影迷选片、影视行业市场分析、口碑监测及长期榜单变化跟踪提供参考。系统支持分页遍历全部250部影片，数据准确度高，且代码结构清晰，易于扩展至其他榜单（如分类排行）或增加更多字段（如导演、主演、短评数），满足轻量级数据采集与分析需求。
基于音序器原理的跨端音乐制作应用-Doit Synth
传统音乐制作软件（Ableton Live、FL Studio、Logic Pro 等）以时间线编排和 MIDI 钢琴卷帘为核心交互模型，学习门槛高、操作链路长。Doit Synth 将创作入口前移至打击垫网格——用户通过点击 24 个彩色垫即可实时触发声音，配合每垫独立的步进音序器参数（间隔、延迟、重复次数），在分钟级时间内完成一段完整的节奏型或旋律循环。
这一设计使得：
- **零基础用户**可以像使用实体鼓机一样通过触控直觉创作
- **进阶用户**可以通过和弦模式、滤波器包络、侧链压缩等专业参数深度调音
- **协作分享场景**下，用户可通过一键复制的压缩模版码将整套音色与编曲配置传递给其他用户
全链路合成而非采样回放
区别于基于采样的鼓机应用，Doit Synth 的全部声音均由实时合成生成。每个打击垫可独立路由至 8 个合成器槽位，每个槽位配备完整的振荡器、多模滤波器、独立包络发生器和声像控制。鼓声部同样由振荡器与噪声发生器实时合成，支持频率扫频（底鼓音高下降）、多击连击（拍手/滚奏）等精细参数调节。
这意味着：
- 音色具有无限调制空间，不存在采样精度或版权限制
- 同一套参数配置可通过模版码完整传递，在不同设备上获得完全一致的音频输出
- 所有合成运算在浏览器 Web Audio API 中完成，无需服务器或云端处理
离线语音转换工具-Gzx语音转换助手
1、立项原因
旨在解决网络环境不佳或完全断网场景下，开发者无法依赖云端服务进行高效编码的问题。尤其针对“vibe coding”（氛围式/对话式编程）开发模式中，需频繁口头表述需求、反复整理和调整关键词的痛点，通过引入本地化的语音转换输入能力，降低操作门槛，提升离线状态下的开发效率与体验。
2、行业场景
适用于边缘计算、野外作业、移动车载、工业现场、保密内网等弱网或断网环境下的软件开发场景。在此类业务背景下，传统在线IDE或云编码工具不可用，而开发者仍需快速迭代原型或调试代码，本方案可为其提供轻量、即时、无需联网的语音辅助编程支持。
3、功能模块
入口（`main.py`）：负责单实例互斥、日志初始化、全局异常钩子，以及启动画面展示与模型延迟加载的协调。
语音识别引擎（`asr_engine.py`）：核心模块，统筹音频采集、VAD切句、ASR识别、实时模拟输入和LLM异步纠错的全流程。
配置管理（`config.py`）：单例模式读写`settings.json`，支持配置变更通知和原子写入。
LLM客户端（`llm_corrector.py`）：封装HTTP请求，实现与本地或远程大语言模型的通信、可用性探测及超时重试。
系统托盘（`tray_app.py`）：基于pystray实现托盘图标、全局快捷键（左Alt+Q）监听及状态显示。
启动画面（`splash.py`）：无边框进度窗口，带毛玻璃效果，展示模型加载进度。
设置界面（`settings_ui.py`）：独立线程运行的Tkinter配置窗口，支持LLM地址/模型修改及连接测试。
VAD指示器（`vad_indicator.py`）：鼠标旁动态彩色光点，实时显示语音概率和音量大小。
4、功能描述
核心工作流程如下：
用户按下全局热键（左Alt+Q）后，系统通过PyAudio采集麦克风音频，经Silero VAD进行语音活动检测与切句，再由SenseVoiceSmall端到端模型实时识别为文字。识别结果立即模拟键盘输入上屏，确保低延迟反馈。
同时，系统将识别文本送入LLM纠错队列，在用户静默3秒后自动触发批量纠错。LLM修正标点和错字后，通过模拟退格删除原文并粘贴修正文本，实现无感替换。纠错过程支持取消重入——若用户在LLM处理中继续说话，当前请求被取消，未处理句子自动归还队列等待下一批次。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服