企业级多模态智能问答中台-Multimodal Agentic RAG (智能体检索增强系统)
2026-02-04 11:50:51
行业：人工智能
载体：算法模型、框架或代码包
技术：Python、FastAPI、React、Redis
业务和功能介绍
立项背景与目标：
针对传统 RAG 系统在处理“图文混合文档”时无法识别图片内容，以及面对“复杂逻辑问题”时回答准确率低的痛点，本项目旨在构建一个生产级、多模态、具备推理能力**的企业知识问答中台，助力企业将非结构化文档（PDF/Word）转化为可交互的智能资产。
核心功能与业务流程：
1. Agentic RAG (智能体检索)**：基于 LangGraph 构建了具备“自我反思”能力的 Agent 状态机。
意图路由：精准区分闲聊/问答，避免资源浪费。
自我评估 (Self-Reflection)：Agent 会对检索结果进行质量打分。如果发现相关性不足（Score < 0.8），会自动触发查询改写 (Query Rewrite) 并重新检索，直到找到满意答案或达到重试上限。
动态规划：针对复杂问题，自动拆解为多个子任务并行执行。
2. 多路混合检索 (Hybrid Search)**：
摒弃单一的向量检索，采用 Vector (语义) + BM25 (关键词) + Rerank (重排序)的黄金组合。
引入 Cross-Encoder 模型进行二次精排，像“阅卷老师”一样剔除伪相关文档，检索准确率提升至 89%。
3. 全链路多模态 (Multi-modal)：
集成 VLM (视觉大模型)，不仅能读懂文本，还能理解 PDF 中的图片、图表，实现真正的“图文跨模态检索”。
4. 生产级异步架构：
利用 Celery + Redis 构建高并发流水线，实现 GB 级大文件的异步解析与后台向量化，确保前端操作零卡顿。
针对传统 RAG 系统在处理“图文混合文档”时无法识别图片内容，以及面对“复杂逻辑问题”时回答准确率低的痛点，本项目旨在构建一个生产级、多模态、具备推理能力**的企业知识问答中台，助力企业将非结构化文档（PDF/Word）转化为可交互的智能资产。
核心功能与业务流程：
1. Agentic RAG (智能体检索)**：基于 LangGraph 构建了具备“自我反思”能力的 Agent 状态机。
意图路由：精准区分闲聊/问答，避免资源浪费。
自我评估 (Self-Reflection)：Agent 会对检索结果进行质量打分。如果发现相关性不足（Score < 0.8），会自动触发查询改写 (Query Rewrite) 并重新检索，直到找到满意答案或达到重试上限。
动态规划：针对复杂问题，自动拆解为多个子任务并行执行。
2. 多路混合检索 (Hybrid Search)**：
摒弃单一的向量检索，采用 Vector (语义) + BM25 (关键词) + Rerank (重排序)的黄金组合。
引入 Cross-Encoder 模型进行二次精排，像“阅卷老师”一样剔除伪相关文档，检索准确率提升至 89%。
3. 全链路多模态 (Multi-modal)：
集成 VLM (视觉大模型)，不仅能读懂文本，还能理解 PDF 中的图片、图表，实现真正的“图文跨模态检索”。
4. 生产级异步架构：
利用 Celery + Redis 构建高并发流水线，实现 GB 级大文件的异步解析与后台向量化，确保前端操作零卡顿。
项目实现
整体架构与设计思路：
项目采用前后端分离架构。后端基于 FastAPI + LangChain 生态，使用 Celery + Redis 处理耗时的文档解析任务（支持 500+ 页文档异步处理）；前端采用 React + Ant Design Pro 构建响应式管理后台。核心检索层引入 ChromaDB 作为向量库，并集成了 Cross-Encoder 重排序模型以保障精度。
我负责的模块与成果（量化）：
1. Agent 核心引擎开发：设计并实现了基于 LangGraph 的状态机，支持“意图识别-查询改写-HyDE增强-多路召回”的全链路思考过程。实测复杂问题拆解准确率提升 40%。
2. 检索策略优化：主导设计了“向量(Dense) + 关键词(Sparse) + 重排序(Rerank)”的三路混合检索算法，将 Top-5 召回率从 65% 提升至 89%。
3. 多模态融合：攻克了图片内容不可被检索的难题，引入视觉模型生成图片描述索引，实现了95% 准确率的图文混合检索。
遇到的难点、坑与解决方案：
难点 1：短查询语义匹配差。用户常问“推荐几款”这类短句，传统向量检索效果极差。
解决方案：引入 HyDE (假设性文档嵌入) 技术，先让 AI 生成一个“虚拟完美答案”，用该答案去匹配知识库，显著提升了语义相关性。
难点 2：大文档解析阻塞系统。解析几百页的 PDF 极其耗时，导致 Web 服务超时。
解决方案：重构为异步任务架构，使用 Celery 队列在后台 Worker 进程中处理解析任务，并通过 SSE (Server-Sent Events) 实时向前端推送进度条，彻底解决了卡顿问题。
项目采用前后端分离架构。后端基于 FastAPI + LangChain 生态，使用 Celery + Redis 处理耗时的文档解析任务（支持 500+ 页文档异步处理）；前端采用 React + Ant Design Pro 构建响应式管理后台。核心检索层引入 ChromaDB 作为向量库，并集成了 Cross-Encoder 重排序模型以保障精度。
我负责的模块与成果（量化）：
1. Agent 核心引擎开发：设计并实现了基于 LangGraph 的状态机，支持“意图识别-查询改写-HyDE增强-多路召回”的全链路思考过程。实测复杂问题拆解准确率提升 40%。
2. 检索策略优化：主导设计了“向量(Dense) + 关键词(Sparse) + 重排序(Rerank)”的三路混合检索算法，将 Top-5 召回率从 65% 提升至 89%。
3. 多模态融合：攻克了图片内容不可被检索的难题，引入视觉模型生成图片描述索引，实现了95% 准确率的图文混合检索。
遇到的难点、坑与解决方案：
难点 1：短查询语义匹配差。用户常问“推荐几款”这类短句，传统向量检索效果极差。
解决方案：引入 HyDE (假设性文档嵌入) 技术，先让 AI 生成一个“虚拟完美答案”，用该答案去匹配知识库，显著提升了语义相关性。
难点 2：大文档解析阻塞系统。解析几百页的 PDF 极其耗时，导致 Web 服务超时。
解决方案：重构为异步任务架构，使用 Celery 队列在后台 Worker 进程中处理解析任务，并通过 SSE (Server-Sent Events) 实时向前端推送进度条，彻底解决了卡顿问题。
示例图片视频
相似推荐
梵花田-梵花田
梵花田是一款专注于身心健康的应用，主要面向有睡眠困扰、焦虑情绪、需要放松和专注的用户群体。项目定位是提供高品质的白噪音、冥想课程、助眠故事等内容，帮助用户改善睡眠质量、缓解压力、提升专注力。
（业务模式）
采用 免费内容 + 会员订阅 的模式。用户可以免费使用部分白噪音和基础冥想内容，订阅会员后解锁全部冥想课程、原创助眠故事、高级混音功能等。
（核心功能介绍）
我将其后端核心功能分为以下几个模块：
声音模块
提供超过30种白噪音（如雨声、海浪、篝火、钢琴等），支持用户多轨混音（同时播放多个声音并独立调节音量）。
支持定时播放、收藏、最近播放记录。
冥想模块
包含 14天入门冥想计划，以及针对不同场景的主题课程（如“考前减压”、“职场焦虑缓解”、“睡前放松”等）。
记录用户的训练进度、连续打卡天数，支持课程评价。
睡眠助眠模块
提供原创的助眠故事（如“月光森林”、“海边小屋”等），配有舒缓的背景音乐和专业配音。
支持故事播放进度自动保存、定时关闭。
宝宝专区模块
专门为母婴群体设计，包含哄睡音乐、摇篮曲、睡前动画和短篇故事。
个人中心与会员模块
用户注册登录（手机号/微信）、会员购买与续费、历史记录、收藏夹、睡眠统计报告等。
后台管理系统
为运营人员提供内容发布（上传音频、配图、文字）、用户管理、数据看板（日活、播放量、会员转化率）等功能。
南通大学附属医院医保前置服务平台-前置服务平台
产品包含功能：药库的订单采购管理、收货管理、追溯码管理、用户管理、角色管理、统计查询、HIS对接接口和省招采平台对接接口等，主要是帮药库简化采购流程，满足网采率的上传要求，同时也能解决医保对医院的追溯码上传要求。
医疗大屏改造项目-医疗信息平台
系统为医疗数据可视化大屏，通过下拉选择器可切换不同数据维度展示页面，实现多场景、多主题的数据监控与分析。主要功能包括：
1. 展示全国年度出院量趋势变化，通过折线图直观呈现多年数据走势；
2. 以地图形式展示 2024 年全国各省份出院人次分布，便于地域数据对比；
3. 统计并展示不同医疗机构类型的出院人次占比，清晰呈现机构服务结构；
4. 分析出院人群的性别、年龄结构，结合老年人口占比形成患者画像；
5. 各模块均支持数据可视化图表展示，包含折线图、地图、饼图、柱状图等；
6. 整体采用深色专业主题，布局规整清晰，适用于数据汇报、运营监控等场景。
7. 各个图表配置了合适的动态展示效果(演示地址：http://47.101.153.3:9007)
基于深度学习健康管理系统
① 慢性病风险预测： 基于用户健康数据，使用神经网络模型预测未来患糖尿病、高血压等慢性病的风险。
② 健康年龄计算： 通过FT-Transformer 模型，计算用户的生物年龄（健康年龄），直观反映身体老化状况。
③ 亚健康状态评估： 通过问卷与活动数据，使用聚类算法+神经网络模型对用户的亚健康状态进行分类与评分。
① 睡眠阶段分析： 基于智能手环的心率、体动数据，使用深度学习模型1D-CNN + Transformer对用户的睡眠阶段进行精准分期。
② 异常心律筛查： 对连续心率数据进行监控，使用异常检测算法或深度学习模型自动筛查可能的心律不齐事件，并发出预警。
③ 运动模式识别与能耗估算： 利用设备加速度计等传感器数据，通过深度学习模型识别用户运动类型（如走路、跑步），并精确计算热量消耗。
④ 长期健康趋势分析： 对用户长期的静息心率、步数等数据进行时间序列分析，发现周期性规律和长期变化趋势。
① 症状自查器： 用户通过勾选症状或输入文本描述自身状况。
② 疾病智能预测： 基于深度学习模型Feature Tokenizer Transformer（FT-Transformer），对输入的症状进行分析，输出可能的疾病及概率。
③ AI健康助手： 集成大语言模型API，为预测结果提供人性化的护理建议与就医警示。
④ 自查历史记录： 记录并展示用户历次的健康自查记录。
① 智能饮食推荐： 基于用户身体指标与健康目标，使用推荐算法生成个性化食谱。
② 自适应运动计划： 根据用户体能和目标生成并动态调整运动计划。
③ 健康习惯追踪与提醒： 提供服药、饮水、久坐等智能提醒功能。
④ 睡眠改善方案： 针对睡眠问题，提供个性化的改善建议。
医疗器械租赁/售卖平台
背景：跟医院合作租赁或售卖医疗设备，主要面向全瘫或半瘫老年人，辅助治疗同时收集老人的医疗数据
1、有个运营后台，可以管理设备的上下架，以及促销活动设置
2、微信小程序可以进行租赁或购买设备
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服