某出行 APP 上的智能客服模块,可以基于企业现有知识库内容进行问答,减少电话客服的工作量,同时支持转接人工 IM 进行回复。
该模块利用现在的大语言模型+RAG 知识库提供智能问答,并且支持3个问题建议,同时可以识别转人工的意图,再对接到三方 IM 平台,实现人工 IM 服务能力。
后端使用阿里云百炼平台提供的大模型 qwen-max 作为大模型,同时依托平台的知识库进行 RAG 检索增强回复,实现了精准的基于企业知识库的问答。
技术实现上是 Java 的 Spring Boot 项目对接百炼平台 SDK 实现调用大模型,并且进行流式问答。
其次,识别转人工的意图,并接入三方 IM 平台,客服可以进行文字回复。
技术方案上采用了 websocket 技术,支持三方平台消息回复,并且后台主动推送给前端,技术实现使用 socket.io 框架,并且对接了三方 IM 平台的 API 接口。