齐雨凡

一、模型部署层：xInference + 双模型 负责 托管大模型和 Embedding 模型，是整个系统的 “大脑”： 对话模型：qwen2.5-instruct-14b（大语言模型，负责生成回复） 用 vLLM 做推理引擎，开启 int4量化： 让模型推理速度达 ~68 tokens / 秒（大幅提升响应速度）， 显存占用优化到 0.8（降低 GPU 硬件成本，让大模型在普通显卡上也能跑）。 Embedding 模型：bge-large-zh-v1.5（智源，负责文本向量化，支撑知识检索） 二、接口封装层：oneAPI（OpenAI 接口模拟） 核心作用：把 xInference 的模型服务，伪装成 “OpenAI 接口”，让上层应用（如 FastGPT）可以用熟悉的 OpenAI 调用方式（如openai.ChatCompletion）对接本地模型，降低集成成本。 三、RAG 增强层：FastGPT（检索增强生成） 解决大模型 “知识过时、专业领域回答差” 的问题，通过 “知识库检索 + 大模型生成” 提升回复质量： 知识库预处理： 用脚本清洗、格式化数据，结合 bge-large-zh-v1.5 生成向量，存入向量数据库。 检索优化技术： 混合检索：同时用 “向量检索（语义匹配）+ 关键词检索（精确匹配）”，提升召回率； 文本切块：拆分长文本为小段（如 512 字），避免信息丢失； rerank 排序：对检索结果重排，选出最相关的内容； Prompt 工程：优化提示词，让大模型更高效结合检索到的知识，生成准确回复。 四、终端接入层：chatgpt-on-wechat + 微信公众号 负责 对接微信生态，接收和响应用户消息： chatgpt-on-wechat 作为中间件，接入微信公众号，监听 微信服务器的 POST 请求（用户发的消息）； 收到请求后，调用 FastGPT 的 RAG 服务（即触发 “检索 + 生成” 流程）； 拿到回复后，再通过微信服务器，把结果推送给用户。 整体数据流向（用户视角） 用户→微信公众号发消息 → 微信服务器→chatgpt-on-wechat（接收） → FastGPT（调用 oneAPI，触发 xInference 的双模型：bge 做知识检索，qwen 做回复生成） → 模型推理（vLLM 加速） → 结果返回→用户收到回复。

立项背景与目标： 针对传统 RAG 系统在处理“图文混合文档”时无法识别图片内容，以及面对“复杂逻辑问题”时回答准确率低的痛点，本项目旨在构建一个生产级、多模态、具备推理能力**的企业知识问答中台，助力企业将非结构化文档（PDF/Word）转化为可交互的智能资产。 核心功能与业务流程： 1. Agentic RAG (智能体检索)**：基于 LangGraph 构建了具备“自我反思”能力的 Agent 状态机。 意图路由：精准区分闲聊/问答，避免资源浪费。 自我评估 (Self-Reflection)：Agent 会对检索结果进行质量打分。如果发现相关性不足（Score < 0.8），会自动触发查询改写 (Query Rewrite) 并重新检索，直到找到满意答案或达到重试上限。 动态规划：针对复杂问题，自动拆解为多个子任务并行执行。 2. 多路混合检索 (Hybrid Search)**： 摒弃单一的向量检索，采用 Vector (语义) + BM25 (关键词) + Rerank (重排序)的黄金组合。 引入 Cross-Encoder 模型进行二次精排，像“阅卷老师”一样剔除伪相关文档，检索准确率提升至 89%。 3. 全链路多模态 (Multi-modal)： 集成 VLM (视觉大模型)，不仅能读懂文本，还能理解 PDF 中的图片、图表，实现真正的“图文跨模态检索”。 4. 生产级异步架构： 利用 Celery + Redis 构建高并发流水线，实现 GB 级大文件的异步解析与后台向量化，确保前端操作零卡顿。