本项目旨在为企业和团队提供高准确率、可溯源、可扩展的知识库问答解决方案。核心功能包括:
1.智能语义分块:支持 semantic 分块策略,自动识别表格、代码块,提升检索和生成的准确率。
2.Query Rewrite 查询改写:自动优化用户查询,提升召回率和答案相关性,适应复杂业务场景。
3.Rerank 重排序:检索结果经过二次重排序,优先展示最相关文档,显著提升最终答案质量。
4.混合检索(Hybrid Retrieval):结合向量和关键词召回,兼顾语义和关键词覆盖,适合多类型文档。
5.增量索引与高效更新:支持文档增删,无需重建索引,批量并发 embedding,节省时间和算力。
6.全链路溯源与来源展示:每个答案都带文件名、页码,前端可展示来源,信息透明可追溯。
7.多层限流与安全防护:API 限流、XSS/SQL 注入防护、IP 黑名单,保障系统稳定与数据安全。
8.灵活配置:LLM、embedding、chunking、检索、重排序等参数均可通过 .env 快速调整。
9.RAGAS 评测与生产环境完全一致:评测流程与实际检索/生成参数同步,结果真实可靠。
10.企业级日志与权限管理:标准日志、文件轮转、JSON格式,支持多用户权限与审计。
整体采用模块化架构,主要技术栈为 LangChain、LlamaIndex、Chroma(本地持久化)、FastAPI、(开源前端架构 pure-admin-thin)。各模块实现如下:
1.文档处理与分块:支持 basic/semantic 分块,语义断点、表格/代码块保留,分块参数可配置。
2.检索与召回:支持向量检索、关键词召回、混合检索,检索参数(top_k、阈值等)可灵活调整。
3.查询改写与重排序:集成专用 LLM 模型进行 query rewrite,检索结果通过 rerank 模型二次排序。
4.增量索引与 embedding:支持批量并发 embedding,自动重试与降速,文档增删无需重建索引。
5.溯源与前端展示:每个节点带完整 metadata,前端可展示来源信息,提升用户信任度。
6.安全与限流:多层 API 限流,XSS/SQL 注入防护,IP 黑名单,保障系统安全稳定。
7.配置与日志:所有核心参数通过 .env 管理,日志支持文件轮转、JSON格式,便于运维和审计。
8.多用户权限:支持用户注册、登录、权限分级,适合企业内部协作。
解决了传统 RAG demo 检索不准、答案无溯源、文档更新慢、评测不真实等痛点,显著提升了知识问答系统的准确率、可维护性和安全性。