本项目旨在解决单一大模型容易产生幻觉、视角单一的问题。核心架构包含总监大脑(路由与汇总)、多个行业专家大脑(比如医学、法律等)、安全监控模块与记忆模块。系统采用多线程并发调用多个AI大模型API,结合多轮辩论与交叉验证机制,输出更全面可靠的回答。同时配备了敏感词动态过滤、日志追踪以及多会话上下文隔离功能,保证了系统的安全性与扩展性。
整体架构设计: 采用“总监大脑+多专家大脑”的解耦架构。总监大脑负责意图识别与任务路由,分发至医学、法律等专家大脑,最后汇总输出。引入了多线程并发处理机制,并设计了本地记忆模块与安全监控模块。
负责模块与结果: 本人独立负责系统的全部架构设计与编码实现。封装了多个大模型API(如智谱、阿里云),实现了多专家并行调用。通过多轮辩论机制,使AI回答的全面性提升约80%。
遇到的难点与解决方案: 难点在于多模型调用时的串行阻塞,以及长篇对话导致上下文Token爆炸。解决方案是引入 ThreadPoolExecutor 实现并发执行,并通过对历史记录进行截断处理(如截取前200字符)来有效控制Token消耗。此外,通过优化提示词(Prompt),成功解决了AI虚构历史对话的幻觉问题。