1、立项背景和目标:企业客服/运维知识分散在手册、FAQ、话术、表格等多格式文档中,传统关键词与全文检索对错误码、型号等“硬信号”和口语化提问命中率低,且答案缺乏出处难以核查。本项目目标是构建一套生产级 RAG(检索增强生成)知识库问答系统:用混合检索提升召回准确性,并在回答中附带引用来源,打通“导入→切块→向量化→混合检索→生成带引用答案”的完整链路。
2、软件功能与核心模块:①混合检索引擎:向量召回(pgvector/HNSW)+ 关键词 BM25(pg_search)双通道,RRF 融合排序;②知识库管理后台:支持 PDF/DOCX/XLSX/PPTX/TXT/MD/CSV/HTML 等多格式导入、粘贴文本、分块查看、单篇/全量重建、删除与检索测试、持久化;③对话式问答前端:欢迎引导、示例问题、检索进度、回答带[编号]引用来源可展开,右侧工作台含引用/知识库/检索调试/运行状态;④生产弹性:重试、熔断、降级、TTL 缓存、限流、鉴权、脱敏、健康检查与 Prometheus 指标;⑤问题笼统时先反问澄清、给可点方向。
3、业务流程与功能路径:文档导入→按段落语义切块→Embedding 向量化并落盘缓存→用户提问→问题向量化→向量+BM25 双路召回→RRF 融合取 TopK→拼入 Prompt→大模型生成或本地兜底拼装带引用答案;知识库增删后自动更新缓存 key,检索调试可实时调 TopK/关键词权重。
1、整体架构与技术栈:采用“可插拔向量索引 SPI + 熔断降级路由 + 检索策略层”的分层架构:VectorIndex 提供 Postgres(pgvector HNSW + pg_search BM25)、Qdrant、InMemory 三种后端;VectorStoreRouter 连续失败 3 次熔断切内存索引、连续成功 2 次半开恢复;HybridRetriever 负责向量召回 + BM25 召回 + RRF(k=60) 融合。技术栈:Java 17、PostgreSQL + pgvector + pg_search(ParadeDB)、可选 Qdrant、阿里云 text-embedding-v4(OpenAI 兼容)、DeepSeek/OpenAI 兼容 LLM、Docker、内置 JDK HTTP 服务与原生 Web 前端,文档抽取零第三方依赖自研。
2、我负责的模块与结果:独立完成需求设计、检索算法与全栈实现。实测 22 条带标准答案用例:Top1 命中率 81.8%→90.9%、Top4 95.5%→100%,平均检索耗时约 240ms;覆盖错误码/型号硬信号、新旧资费版本冲突、形近词干扰、口语化、跨文档多跳、业务规则、噪声抗性 7 类生产问题;单元测试 7 个全过;语料 16 文档/93 分块/1.1 万字,多格式抽取零依赖可跑。
3、难点、坑与解决方案:①分数量纲不同(余弦 0~1 vs BM25 无上界)无法加权求和 → 改用 RRF 只按排名融合,免调参;②RAG 最易踩坑“检索了却没拼进 Prompt” → buildUserPrompt 带编号拼入并要求[编号]引用,缓存 key 带上片段 ID;③换 embedding 模型未重建索引导致维度不一致 → 建表校验维度显式报错;④向量化是收费且慢的外部调用 → 向量落盘缓存、重启复用;⑤无中文分析器时 BM25 恒为 0 → 用 2-gram 切分构造查询;⑥向量库外部依赖易拖垮服务 → 熔断降级 + 单路容错,服务不中断。