背景与目标:动力电池领域知识庞大跨学科,通用大模型存在知识滞后、幻觉问题,目标是将RAG检索增强与LoRA微调结合,构建动力电池领域智能问答系统。
功能模块:知识库构建(1.1万条专业数据向量化)、RAG语义检索(Qwen3-Embedding+ChromaDB)、LoRA领域微调(Qwen3.5-4B)、Ollama协同推理系统、消融评估模块。
业务流程:数据清洗→向量化入库;问答时:查询改写+HyDE生成假设文档→三路检索融合取Top-5→组装增强提示词→模型生成答案→计算EM和语义相似度评估。
架构与技术栈:模块化设计,RAG与LoRA独立可组合。Qwen3.5-4B基座、ChromaDB向量库、LLaMA-Factory微调(r=8)、Ollama统一推理框架,Python编排四条消融管线。
负责模块与结果:独立完成全系统,协同组多选题EM达86%、简答语义相似度0.7812,显著优于基线,验证RAG与LoRA互补价值。
难点与解决:模型幻觉→微调+检索双重增强;查询语义鸿沟→Query改写与HyDE双策略;显存受限→低秩LoRA仅训1%参数,消费级GPU可跑;推理失败样本→记录N/Failed保证评估严谨。