一、项目背景和目标
智能体客服项目面向智能客服、呼叫中心与企业运营管理场景建设,目标是在现有呼叫中心和企业管理能力基础上,引入智能体配置、语音交互、知识问答、智能测试、通话分析、质检兼容、套餐开通与消费管理等能力,形成一套可配置、可运营、可统计、可结算的智能客服服务平台。
二、核心功能模块
项目整体分为前端系统与后端系统两大部分。前端系统主要承担智能体配置、通话分析、质检使用及账单查看等业务操作界面;后端系统主要承担客户管理、产品及套餐管理、智能总机账户生命周期管理、消费统计及业务规则执行等平台支撑能力。
三、业务流程简示
客户下单:客户资料提交→审核→审核通过申请开通产品。
开通产品:根据客户下单资料→开通相应套餐→配置智能客服应用。
智能体接入:上传客户知识库→搭建智能应用。
通话分析:保存通话录音→识别录音文字→使用大模型进行对话分析→输出对话分析结果
。
质检:上传对话录音→对录音进行质检分析。
一、整体架构设计
采用分层的微服务架构,自上而下分为四层:接入层(Nginx集群做负载均衡,处理前端、终端HTTPS与WebSocket连接)、网关层(Gateway+Riboon)做路由分发到各个服务、服务层(crm、智能总机、注册服务、后台管理四个独立模块,通过JWT统一鉴权)、数据层(MySQL存事务数据,ES存海量通话记录)。框架设计原则:高可以集群负载,读写分离。
二、模块职责与技术栈
SIP通信:基于 FreeSWITCH 处理呼叫事件、信令交互;实时推送:Netty+WebSocket、Redis 语音通话媒体流实时交互;对话分析:基于阿里大模型,对通话内容进行满意度、意图分析;静默策略分析:通过语音媒体对客户静默做策略处理;AI质检:阿里云语音识别ASR + 通义千问 + 规则引擎;后台管理:Spring Boot、MyBatis-Plus。
三、个人负责模块与量化成果
作为Java核心开发,主导整个项目的架构设计以及核心代码的开发:ws媒体通信架构搭建,实现媒体转发≤90ms,对话响应≤2s;单台4核8G服务器支持通话2000+,与C++的媒体通信交互延迟≤50ms;AI大模型训练,完成20家中小企业智能客服大模型知识库,提示词的优化。
四、难点与解决方案
难点:媒体语音流不丢包与不卡顿。ws基于TCP,而实时语音包需要UDP那样允许少丢包、但不能卡顿。解决方案:引入抖动缓冲区,维护一个缓冲队列按1600进行切分发送pcm音频二进制帧。