通过引入知识图谱,我们的菜谱搜索系统将具备:
- 结构化知识表达:以图的形式显式编码实体间的语义关系
- 增强推理能力:支持多跳推理和复杂关系查询
- 智能查询路由:根据查询复杂度自动选择最适合的检索策略
- 事实性与可解释性:基于图结构的推理路径提供可追溯的答案
极大的拓展大语言模型的能力,用较小的模型+知识图谱就可以实现超大参数模型的推荐能力。而且通过对大语言模型的量化和部署,可实现本地快速的推理,而不依赖云端网络。
关键技术
1. 图数据准备模块 (GraphDataPreparationModule)
- 功能:连接Neo4j数据库,加载图数据,构建结构化菜谱文档
- 特点:支持图数据到文档的智能转换,保持知识结构完整性
2. 向量索引模块 (MilvusIndexConstructionModule)
- 功能:构建和管理Milvus向量索引,支持语义相似度检索
- 特点:使用BGE-small-zh-v1.5模型,512维向量空间
3. 混合检索模块 (HybridRetrievalModule)
- 功能:传统的混合检索策略,结合向量检索和关键词查询
- 特点:双层(dual level)检索(实体级entity+主题级topic),向量检索
4. 图RAG检索模块 (GraphRAGRetrieval)
- 功能:基于图结构的高级检索
- 特点:支持多跳推理、子图提取、实体关系识别、相似实体聚类
5. 检索结果融合重排(Reranker):
- 功能:对检索结果按照与query的相关性排序
- 特点:使用bge-reranker-base模型
6. 智能查询路由 (IntelligentQueryRouter)
- 功能:分析查询特征,自动选择最适合的检索策略
- 特点:LLM驱动的查询分析,动态策略选择
7. 查询重写(QueryRewrite)
- 功能:对用户的问题重写,减少口语化和模糊的表达,增强检索效果
- 特点:LLM驱动
8. 生成集成模块 (GenerationIntegrationModule)
- 功能:基于检索结果生成最终答案
- 特点:支持llm api调用(e.g. kimi) 和 llm model(e.g. qwen25-7b-instruct)两种方式
我负责全项目整个模块的搭建和demo开发和测试