AI 营销客服助手（V1.1）｜后端主负责人（LLM + Agent + RAG + 多模态）

一、项目背景与业务价值

该系统用于教育电商平台的智能导购与客服服务。核心目标是让用户像与真人导购沟通一样，通过自然对话解决：
选课难
不知道课程内容 / 价位
不清楚适合孩子的学习路径
无法快速从大量商品中筛选
无法从 FAQ 中找准答案
无客服时段响应慢
本项目通过 AI 导购助手实现：
自动问答、智能推荐、实时语音交互、对话式下单、可解释推理链路，最终提升转化率、降低客服成本、提升用户体验。
系统主要围绕 对话 → 理解 → 检索 → 推荐 → 下单 五大核心链路展开。

核心职责
1. 负责端到端 LLM 交互架构设计（核心 Owner）

基于 DashScope Generation.call 构建统一模型调用层，设计思考模式/极速模式两套推理链路。

主导构建 Agent 工具链执行框架，实现推理模型自动选择 QA / 导航 / 商品推荐 / 下单等动作，无需规则路由。

设计系统级 Prompt、对话管理结构、执行计划与反思机制，显著提升 AI 对话自然度与任务正确率。


2. 构建企业级 RAG 检索系统（百炼知识库）

负责 向量化数据准备（产品物料、FAQ、真实客服问答、课程大纲），并统一进入知识检索链路。

重写 bailian_retriever，同时支持 dense + sparse + rerank，多源合并最终证据。

输出可溯源的回答格式（脚注：sku_id / source_type / modified_date），增强可信度。

支持自动化召回率评估（Recall、MRR）。

3. 研发完整多轮对话管理器（支持流式输出）

主导开发 AgentManager，支持：

Redis 独立会话管理

流式 SSE 回复

实时合并推理链与内容输出

工具自动注入、工具响应二次推理

支持上万用户并发的轻量级 Session 隔离。

4. 设计与实现实时语音交互链路（TTS + ASR）

前端上传 OSS → 后端调 Qwen-ASR → 文本回显完整链路建设。

设计基于 TTS WebSocket + SSE 双向流式播放 的实时语音播报架构。

提供短期 token 下发接口，前端可直连第三方 TTS，实现 100~300ms 级延迟互动。

5. 对话式商品推荐 / 购买链路设计与实现

设计课程推荐 JSON schema，模型可自动生成 1–3 张商品卡片（价格、课时、卖点）。

Agent 在澄清后自动调用 “产品推荐工具” 与 “下单工具”，并输出用户可点击跳转的结构化数据。

实现定制化导购体验，提高转化链路的引导效率。

技术方案亮点
Agent + 工具链（核心）

彻底移除传统意图分类路由，模型直接规划行动（Plan → Act → Observe → Reflect）。

支持以下工具：RAG 检索、课程推荐、下单、商品查询、多轮澄清。

工具调用成功率提升 > 35%，对话“呆板感”明显降低。

RAG（增强问答体系）

采用“多源信息融合”：FAQ、真实客服问答、课程物料、SKU 实时信息。

百炼向量库 + rerank 双阶段检索，大幅提升准确度。

自动化评估脚本输出 MRR/Recall，用于模型版本回归对比。

“思维链摘要条”可解释性设计

模型推理过程进行抽象总结，以“摘要条”方式展示在回答顶部。

用户可展开查看推理过程、证据引用，提高信任感。