企业级多模态智能问答中台-Multimodal Agentic RAG (智能体检索增强系统)
2026-02-04 11:50:51
行业：人工智能
载体：算法模型、框架或代码包
技术：Python、FastAPI、React、Redis
业务和功能介绍
立项背景与目标：
针对传统 RAG 系统在处理“图文混合文档”时无法识别图片内容，以及面对“复杂逻辑问题”时回答准确率低的痛点，本项目旨在构建一个生产级、多模态、具备推理能力**的企业知识问答中台，助力企业将非结构化文档（PDF/Word）转化为可交互的智能资产。
核心功能与业务流程：
1. Agentic RAG (智能体检索)**：基于 LangGraph 构建了具备“自我反思”能力的 Agent 状态机。
意图路由：精准区分闲聊/问答，避免资源浪费。
自我评估 (Self-Reflection)：Agent 会对检索结果进行质量打分。如果发现相关性不足（Score < 0.8），会自动触发查询改写 (Query Rewrite) 并重新检索，直到找到满意答案或达到重试上限。
动态规划：针对复杂问题，自动拆解为多个子任务并行执行。
2. 多路混合检索 (Hybrid Search)**：
摒弃单一的向量检索，采用 Vector (语义) + BM25 (关键词) + Rerank (重排序)的黄金组合。
引入 Cross-Encoder 模型进行二次精排，像“阅卷老师”一样剔除伪相关文档，检索准确率提升至 89%。
3. 全链路多模态 (Multi-modal)：
集成 VLM (视觉大模型)，不仅能读懂文本，还能理解 PDF 中的图片、图表，实现真正的“图文跨模态检索”。
4. 生产级异步架构：
利用 Celery + Redis 构建高并发流水线，实现 GB 级大文件的异步解析与后台向量化，确保前端操作零卡顿。
针对传统 RAG 系统在处理“图文混合文档”时无法识别图片内容，以及面对“复杂逻辑问题”时回答准确率低的痛点，本项目旨在构建一个生产级、多模态、具备推理能力**的企业知识问答中台，助力企业将非结构化文档（PDF/Word）转化为可交互的智能资产。
核心功能与业务流程：
1. Agentic RAG (智能体检索)**：基于 LangGraph 构建了具备“自我反思”能力的 Agent 状态机。
意图路由：精准区分闲聊/问答，避免资源浪费。
自我评估 (Self-Reflection)：Agent 会对检索结果进行质量打分。如果发现相关性不足（Score < 0.8），会自动触发查询改写 (Query Rewrite) 并重新检索，直到找到满意答案或达到重试上限。
动态规划：针对复杂问题，自动拆解为多个子任务并行执行。
2. 多路混合检索 (Hybrid Search)**：
摒弃单一的向量检索，采用 Vector (语义) + BM25 (关键词) + Rerank (重排序)的黄金组合。
引入 Cross-Encoder 模型进行二次精排，像“阅卷老师”一样剔除伪相关文档，检索准确率提升至 89%。
3. 全链路多模态 (Multi-modal)：
集成 VLM (视觉大模型)，不仅能读懂文本，还能理解 PDF 中的图片、图表，实现真正的“图文跨模态检索”。
4. 生产级异步架构：
利用 Celery + Redis 构建高并发流水线，实现 GB 级大文件的异步解析与后台向量化，确保前端操作零卡顿。
项目实现
整体架构与设计思路：
项目采用前后端分离架构。后端基于 FastAPI + LangChain 生态，使用 Celery + Redis 处理耗时的文档解析任务（支持 500+ 页文档异步处理）；前端采用 React + Ant Design Pro 构建响应式管理后台。核心检索层引入 ChromaDB 作为向量库，并集成了 Cross-Encoder 重排序模型以保障精度。
我负责的模块与成果（量化）：
1. Agent 核心引擎开发：设计并实现了基于 LangGraph 的状态机，支持“意图识别-查询改写-HyDE增强-多路召回”的全链路思考过程。实测复杂问题拆解准确率提升 40%。
2. 检索策略优化：主导设计了“向量(Dense) + 关键词(Sparse) + 重排序(Rerank)”的三路混合检索算法，将 Top-5 召回率从 65% 提升至 89%。
3. 多模态融合：攻克了图片内容不可被检索的难题，引入视觉模型生成图片描述索引，实现了95% 准确率的图文混合检索。
遇到的难点、坑与解决方案：
难点 1：短查询语义匹配差。用户常问“推荐几款”这类短句，传统向量检索效果极差。
解决方案：引入 HyDE (假设性文档嵌入) 技术，先让 AI 生成一个“虚拟完美答案”，用该答案去匹配知识库，显著提升了语义相关性。
难点 2：大文档解析阻塞系统。解析几百页的 PDF 极其耗时，导致 Web 服务超时。
解决方案：重构为异步任务架构，使用 Celery 队列在后台 Worker 进程中处理解析任务，并通过 SSE (Server-Sent Events) 实时向前端推送进度条，彻底解决了卡顿问题。
项目采用前后端分离架构。后端基于 FastAPI + LangChain 生态，使用 Celery + Redis 处理耗时的文档解析任务（支持 500+ 页文档异步处理）；前端采用 React + Ant Design Pro 构建响应式管理后台。核心检索层引入 ChromaDB 作为向量库，并集成了 Cross-Encoder 重排序模型以保障精度。
我负责的模块与成果（量化）：
1. Agent 核心引擎开发：设计并实现了基于 LangGraph 的状态机，支持“意图识别-查询改写-HyDE增强-多路召回”的全链路思考过程。实测复杂问题拆解准确率提升 40%。
2. 检索策略优化：主导设计了“向量(Dense) + 关键词(Sparse) + 重排序(Rerank)”的三路混合检索算法，将 Top-5 召回率从 65% 提升至 89%。
3. 多模态融合：攻克了图片内容不可被检索的难题，引入视觉模型生成图片描述索引，实现了95% 准确率的图文混合检索。
遇到的难点、坑与解决方案：
难点 1：短查询语义匹配差。用户常问“推荐几款”这类短句，传统向量检索效果极差。
解决方案：引入 HyDE (假设性文档嵌入) 技术，先让 AI 生成一个“虚拟完美答案”，用该答案去匹配知识库，显著提升了语义相关性。
难点 2：大文档解析阻塞系统。解析几百页的 PDF 极其耗时，导致 Web 服务超时。
解决方案：重构为异步任务架构，使用 Celery 队列在后台 Worker 进程中处理解析任务，并通过 SSE (Server-Sent Events) 实时向前端推送进度条，彻底解决了卡顿问题。
示例图片视频
相似推荐
联想医疗大语言模型
在开源通用大语言模型的基础上，依托联想算力加持，整合医疗AI研发部多年沉淀的医疗问答、专业教材、学术论文等高质量语料，实现医疗健康领域多模态能力升级。平台专项支撑常州医院AI智能随访、慢病智能管理等核心业务场景，赋能医院医疗服务数字化、智能化升级。
广慈纪念医院
上海广慈纪念医院隶属于瑞金医院体系，面向高端医疗和健康管理用户。医院希望把预约、查报告、健康管理等线下服务搬到手机上，减少排队和反复沟通，于是做了 iOS 客户端，与小程序、官网一起构成移动医疗平台。
App 核心功能包括：专家预约（按科室选专家、查看出停诊、在线选时段）、医疗服务预约、检查报告查询、健康管理（与健康管家沟通）、健康商城，以及为他人代预约、辅助导诊等。
典型使用路径：用户注册登录 → 选科室/专家 → 完成预约 → 到院就诊 → 在 App 查看报告 → 如需后续服务，可继续健康管理或商城购买。整体就是把「预约—就诊—查报告—后续管理」串成一条线，方便用户随时操作。
官方网站-四川美莱官网
美莱医美集团是一家全国连锁医美医院，我们与多个城市美莱有业务案例，包括活动推广等，官网主要实现对医院项目、医生、环境、案例的详细展示。接入VR等功能实现在线看现场环境等（因美莱现有自研团队，案例非最新版本）
智慧医院门诊管理系统
随着医院门诊量持续攀升，传统人工挂号、纸质病历模式效率低下，患者就医体验差。本系统面向三甲医院构建一体化门诊数字化平台，支持在线预约挂号、分诊叫号、
电子病历记录、医嘱开具与药房对接、医保费用实时结算等核心功能。患者可通过小程序完成预约、缴费、报告查询全流程，医生端提供智能辅助诊断提示与历史病历追
溯。系统采用微服务架构拆分挂号服务、诊疗服务、药房服务、支付服务等模块，RocketMQ实现跨模块异步解耦，Redis缓存号源信息防止超卖，保障高峰期系统稳定运
行。
某医药企业官网
1. 品牌形象展示系统（前端UI/UX）
自适应响应式布局： 一套系统同时适配 PC电脑、平板、手机端，无论客户用什么设备浏览，画面都能完美呈现，提升专业度。
动画与视觉交互： 首页采用轻量级视差滚动和渐入动画，让企业故事“活”起来，给访客留下深刻的第一印象。
典型栏目配置：
首页（Banner大屏战略图 + 核心优势速览）
关于我们（发展历程时间轴、企业文化、团队风采）
产品/服务中心（支持图文、视频混排，三级分类展示）
经典案例/项目展示（图文详情页，支持高清大图轮播）
新闻资讯/行业动态（用于SEO持续优化）
人才招聘（在线发布岗位，接收简历投递）
2. 智能后台内容管理系统（CMS）—— 整包项目的核心灵魂
针对老板不懂代码、不懂FTP的痛点，我们封装一套极简可视化后台（基于Django/Flask自建Admin或集成TinyMCE/富文本编辑器）：
可视化编辑器： 像写Word文档一样编辑新闻、修改产品详情，支持一键插入图片、表格和视频链接。
页面模块化拖拽（可选高级版）： 首页板块支持显示/隐藏、排序调整，无需开发介入即可完成换季营销页面的微调。
一键更新： 修改内容实时生效，无需等待重新打包发布。
3. 营销获客与数据留资系统（让官网变成销售工具）
多表单引擎： 自定义生成“在线询价”、“免费试用申请”、“项目合作”表单，访客提交后自动发送邮件/短信通知给公司销售负责人。
SEO（搜索引擎优化）基础架构： 支持自定义每个页面的TDK（标题、描述、关键词），自动生成网站地图（Sitemap），符合百度/谷歌爬虫抓取规则。
访客统计看板（简易版）： 后台集成流量分析，展示每日访问量、访客来源地区、热门页面点击排行，让老板清晰看到花钱做的官网到底有没有人看。
4. 安全防护与性能加速（体现技术专业度）
双重防御： 配置HTTPS加密证书（SSL）+ 后台登录防暴力破解机制 + SQL注入防护，保障企业数据安全。
动静分离加速： 静态资源（图片/CSS/JS）采用CDN分发，确保无论客户在哪个省份，官网都能秒级打开（首屏加载时间控制在2秒内）。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服