EduPilot 是一套已完成端到端开发的多模态教学智能体系统,定位于“教师备课共创助手”。项目不是停留在单轮文案生成,而是形成了可运行的业务闭环:输入需求与资料、系统生成课件与教案、教师反馈后定向改写、最终标准化导出。
当前版本已落地的核心成果如下:
1. 双通道交互输入:前端同时支持文字输入与语音输入;在浏览器语音识别不可用时,可自动切换录音上传并调用后端转写接口。
2. 多模态资料接入:支持上传并解析 PDF、Word、PPT、图片、视频等资料,形成结构化参考信息。
3. 参考资料与意图绑定:前端将 reference_materials 与 intent_bindings 一并提交,后端按绑定关系参与研究与生成。
4. 多智能体协同生成:系统采用 planner、researcher、designer、writer、coder 五节点主链路,支持首次生成与反馈再生成两种工作模式。
5. 检索增强可配置:提供 hybrid、local_only、web_only 三种研究模式,可按课堂场景切换本地知识库与联网检索策略。
6. 多产物交付:主流程自动输出 AST 与 HTML 课件;通过导出接口可生成 PPT、Word、PDF 等交付物。
7. 实时进度与断线容错:WebSocket 推送节点状态,连接中断时可通过待发消息队列与 resume/feedback 接口继续任务。
基于 LangChain 的 Multi-Agent 核心编排与开发(Python):
使用 Python 结合 LangChain/LangGraph 框架,从零主导开发「规划-答疑-评估」多角色 Multi-Agent 协作拓扑。摒弃轻量级可视化工具,通过底层代码构建复杂的 State Graph 流转逻辑,实现教学任务(如知识点溯源、错题解析)的精细拆解与闭环交互,深度优化 Agent 调度链路,稳定支撑 10+ 高并发学生会话场景。
端到端 RAG 全流程构建与 Milvus 深度整合:
设计并落地高可用的 RAG 全流程链路,底层弃用默认轻量库,全面接入 Milvus 向量数据库以支撑海量题库与教辅资料的高效并发检索。针对教材文档设计“基于知识点逻辑边界”的智能切片与混合检索(Keyword + Dense)策略,使答题幻觉率下降 55%;此外,开发基于意图路由的 Vision/Text 多模态联合调度机制,支持复杂数理图形题的自动化解析。
AI 大文本生成逻辑优化与推理强化:
攻坚教学场景下的 AI 大文本生成逻辑(如长篇幅知识点串讲、定制化长文本学习报告)。通过构建深度 Prompt Pipeline,在长文本生成中引入多步 CoT(思维链)+ Self-Reflection(自我反思)机制,有效解决模型在输出长篇幅推导过程时的逻辑灾难问题,使大模型解题步骤拆分的正确率及教学解析的连贯性提升 30%。