某汽车品牌大模型智能销售与知识库平台

1、立项背景和目标
某汽车品牌一线销售与客服场景中，传统的知识库检索效率低、优质销冠经验难以沉淀复制，且容易出现回答不标准的问题。为提升客户转化率与服务标准化水平，本项目旨在打造一个基于大语言模型（LLM）的企业级智能问答与 RAG（检索增强生成）平台，通过 AI 深度赋能一线销售团队，实现复杂汽车参数的秒级查询与销售话术的智能辅助。
2、软件功能、核心功能模块的介绍平台围绕“大模型+私有知识库”构建，核心功能模块包括：
企业级 RAG 智能问答引擎：支持复杂汽车参数、竞品对比及业务文档的语义级精准检索与自然语言问答。
销冠话术 (FAQ) 智能推荐：根据客户意图与聊天上下文，实时为销售人员推荐场景化的高转化率应对标准话术。
非结构化聊天解析与知识抽取：自动解析历史优质沟通记录，抽取提炼高频 FAQ 与销冠金句存入知识库。
业务无知识问题过滤 (安全护栏)：针对非汽车专业领域或知识库未覆盖的问题进行拦截，防止大模型产生“幻觉”。
3、业务流程、功能路径描述
整体业务链路如下：首先，系统通过离线清洗模块解析海量聊天记录，提取优质话术并连同车辆手册等文档进行向量化（Embedding）处理，存入异构 Elasticsearch 集群；在实时业务中，当一线销售在客户端输入客户问题或系统捕捉到聊天上下文时，平台通过 FastAPI 暴露的低延迟接口接收请求；系统先经过安全校验（无知识拦截），随后在向量库中进行相似度粗排，再经由 Rerank 服务进行重排；最终，关联最高效的知识片段并交由 LLM 进行归纳生成或直接推荐销冠 FAQ 给销售人员使用。

1、整体架构和设计思路，不同模块使用的技术栈本项目采用底层 AI 服务（Python 生态）与上层业务系统解耦的架构设计：
AI 与大模型底座：基于 Python 3.8+ 与 FastAPI/Flask 构建，无缝对接 Qwen/DeepSeek 等大模型，并使用 BGE-M3 模型进行文本向量化。
异构向量存储：采用 Elasticsearch (7.5.0 / 8.0+) 双集群架构，兼顾历史业务系统对接与高维向量检索的高并发需求。
数据治理与缓存：使用 MySQL 5.7+ 存储结构化业务数据，Redis 作为高速缓存与限流防线，并建立完整的数据埋点链路支撑后续 SFT（监督微调）。
2、“我”的负责模块和结果（尽可能量化）
作为 AI 系统架构设计的核心开发，我主导了 RAG 核心链路研发与大模型服务封装：
RAG 引擎建设与调优：负责串联 llm_service 与 embedding_service，创新性引入 rerank_service（重排机制），成功将 RAG 知识检索准确率与 FAQ 推荐命中率提升至 90% 以上，显著缩短了一线销售查参数与找话术的时间。
FAQ 抽取与推荐引擎：主导开发 faq_extraction 模块清洗海量非结构化聊天记录，并设计低延迟的 faq_recommend_api，为前端提供高可用的实时推荐服务。
安全合规与架构护航：自主研发 no_knowledge_check 拦截模块有效根治大模型“幻觉”问题。通过深度的 ES 索引 Mapping 调优与排队策略，将大模型知识问答的端到端平均响应延迟严格控制在 800 毫秒以内，完美支撑高并发请求。
3、“我”遇到的难点、坑，和解决方案
难点一：历史系统兼容与高并发向量检索的矛盾。
坑：老旧业务系统依赖 ES 7.5.0，而高效的向量检索与 RAG 匹配强烈依赖 ES 8.0+ 的新特性，强行升级会导致历史业务停摆。
解决方案：设计并落地了异构 ES 双集群架构。通过编写数据同步脚手架，从 7.5.0 集群平滑拉取增量数据，并交由独立的 8.0+ 输出集群专门支撑高并发的向量检索计算，保障了数据流转的一致性与高性能。
难点二：通用大模型在垂直领域的严重“幻觉”。
坑：初期大模型为了“表现聪明”，在缺乏相关业务知识片段召回时，会强行编造汽车参数或虚假活动，造成严重的合规风险。
解决方案：除了优化 Prompt，我在核心链路前置了基于向量阈值与意图识别的“无知识问题检查”拦截模块，并在底层建立了用户行为埋点链路（tracking_process），收集 badcase 为后续模型的针对性微调（SFT）积累了高质量数据。