万能AI视频分析助手

一、立项背景与目标 1. 立项背景 在传统的知识库问答系统中，普遍存在以下痛点： - 流程混乱：通用ReAct Agent在处理复杂业务时，容易发生步骤跳跃或逻辑错乱，导致回答质量不稳定。 - 上下文断裂：多轮对话中，用户常使用代词（如“它多少钱？”），传统向量检索缺乏指代消解能力，导致检索失败。 - 意图混杂：闲聊式提问（如“你好”）与知识检索式提问（如“XX产品参数是多少”）被统一处理，浪费算力且影响用户体验。 - 状态丢失：用户刷新页面或稍后再访问时，对话历史无法延续，每次都是“新会话”。 2. 项目目标 - 构建一个流程可控、意图可分流、上下文可理解、状态可持久的智能知识助手。 - 实现复杂业务逻辑的结构化解耦，提升系统的可维护性与稳定性。 - 显著提升多轮对话场景下的检索命中率与回答准确率。 二、软件功能与核心模块 1.整体功能概述 本系统是一个基于LLM的智能对话式知识库问答助手，支持用户通过自然语言提问，从向量知识库中精准检索并生成回答。系统特别强化了多轮对话中的指代消解能力与流程可控性。 2.核心功能模块介绍 模块名称 功能说明 Planner（规划器） 基于LLM + 专用Prompt，硬编码业务流程。负责解析用户请求，按固定流程调度执行，防止逻辑跳跃。 语义路由器 基于LLM的分类工具，动态识别用户意图为“chat”（闲聊）或“retrieval”（知识检索），实现分支分流。 历史加载与写入模块 与Redis集成，自动追加对话历史，确保跨会话的上下文连续性。 查询重写模块 结合历史对话，将存在指代或省略的用户问题（如“它多少钱？”）改写为语义完整的独立问句。 混合检索引擎 同时执行向量语义检索与关键词检索，通过RRF算法融合排序，提升召回效果。 Executor（执行器） 根据Planner的指令，调用重写、检索、生成等环节，最终输出回答。 系统流程严格遵循：语义路由 → 历史加载 → (分支判断) → 查询改写/直接回答 → 知识库检索 → 最终生成 三、业务流程与功能路径 以下为用户与系统交互的完整功能路径描述： 场景一：用户进行知识检索（多轮对话） 场景二：用户发起闲聊 场景三：用户首次访问 / 会话恢复

本项目主要面向无人驾驶仿真研究、智能车辆轨迹跟踪与轻量化控制算法验证场景，围绕端到端自动驾驶技术开展系统设计与实验开发。项目基于 CARLA 仿真平台构建虚拟驾驶环境，通过采集车辆前视图像、行驶状态和控制指令等数据，训练轻量化神经网络模型，实现从环境感知输入到车辆控制输出的端到端映射。项目可用于自动驾驶算法教学、科研训练、数据采集、模型训练、仿真测试和轨迹跟踪效果评估，为低成本、高效率的自动驾驶算法验证提供支持。 本项目主要功能包括仿真环境搭建、自动驾驶数据采集、数据预处理、模型训练、模型推理和效果评估等模块。系统可在 CARLA 仿真环境中生成车辆行驶场景，自动采集车辆前方图像、方向盘转角、油门、刹车等控制数据，并生成对应的数据标签文件；同时支持对采集数据进行划分和预处理，形成训练集、验证集和测试集。模型部分采用轻量化端到端神经网络结构，通过输入车辆前视图像，直接预测车辆控制指令或轨迹跟踪相关参数，从而实现车辆在仿真道路中的自主行驶与轨迹跟踪。项目还支持训练过程记录、模型保存、测试推理和结果可视化，便于对算法性能进行分析和改进。

基于 Kubernetes 和 Ray 构建大规模分布式训练系统，常常会面对一个典型需求：训练任务需要调用独立的仿真环境（如游戏引擎、机器人模拟器、工业仿真软件等），而这些仿真环境本身已打包为 Docker 镜像，必须在一个隔离的容器内运行。此时，将容器化的仿真环境与 Ray 的工作节点相结合，并在 Kubernetes Pod 内安全、高效地运行仿真容器，就成了架构的关键。Docker‑in‑Docker（DinD）便是解决此类场景的重要技术之一。

本项目是一个面向学生事务资料查询场景的 AI 问答工具，主要解决学生在阅读学生手册、校规文件和办事流程时查找困难、理解成本高、重复咨询多的问题。 系统支持基于已整理资料进行智能问答，用户可以咨询学籍管理、考试安排、奖学金、请假、处分、实践学分等规则类问题。项目提供普通回答和专业回答两种模式：普通回答适合快速查询，专业回答会补充依据、办理流程、可信度提示和必要的流程图说明。 系统还支持资料上传学习功能，可将 Markdown 或文本格式的规章文件加入知识库，使问答范围不局限于默认资料。整体目标是把分散、较长、阅读门槛较高的制度文件，转化为更容易理解和检索的交互式问答体验。

SmartLearn Pro 是一个面向英语学习场景的 AI 学习平台，核心目标是把文章、单词、听说读写训练和复习计划整合到一个学习闭环中。系统支持文本/PDF 导入、AI 阅读分析、生词提取、闪卡复习、记忆曲线复习、阅读考试训练、翻译挑战、AI 写作批改、口语教练、学习笔记、知识图谱和学习流画布等功能。 用户可以导入学习资料，系统自动生成词汇、语法结构、阅读理解题和复习内容；在学习过程中可以将生词、难句、错题和写作素材沉淀为笔记，并通过 FSRS 记忆算法安排后续复习。项目还集成了语音识别、AI 对话和 TTS 语音合成能力，用于模拟 IELTS、商务英语、日常聊天等口语训练场景，帮助用户完成从输入、练习、反馈到复习的完整学习流程。