这个项目最初是为了解决企业产品咨询难、资料分散、客服压力大的问题。公司的冷链和智能柜类产品比较多,涉及到商超、生鲜、新零售、餐饮、医药等多个行业,客户经常需要了解设备参数、使用方法、选型推荐,但传统方式不是靠翻说明书就是打电话问客服,效率非常低。我们想通过一个智能问答小程序,把企业知识库“装进”AI助手里,让用户随时随地都能提问,比如“这款冷柜能最低到多少度”“酸奶机一天能卖几杯”等。前期我们和产品部、市场部、售后客服等进行了大量沟通,把用户常问的问题、技术资料、销售FAQ等都梳理成结构化知识,同时兼顾语音交互和多轮对话,力求让这个“星鲜助手”变得真的好用、有用、能推广。
星鲜助手小程序的核心功能就是:用户用语音或者文字问任何关于我们产品的问题,AI会直接给出准确的回答。它支持接入我们企业的本地知识库,比如风冷无霜柜、智能取餐柜、医药冷藏箱、管家盒子等几十种产品的说明书、参数、使用教程都能被AI“记住”。如果知识库里找不到答案,它还能自动联网搜索我们的官网和相关网页进行补充。另外,小程序还接入了商城系统,支持用户看完产品后直接跳转到购买页。我们还支持语音识别和播报,适合动手不方便的场景,比如仓库、门店操作员。此外,AI助手还能根据问答上下文保持逻辑连贯,支持多轮对话,并且能自动判断用户需求,给出推荐产品或文档下载链接。
1、我用的是本地部署方案,LLM部分选的是 Deepseek 蒸馏模型,部署在 vLLM 上,响应速度很快。RAG 部分我做了知识预处理、向量化,选用的是 Embedding + Ranker 两阶段召回,提升了匹配准确率。问答用 LLaMA Factory 做了 SFT 微调,针对我们产品领域的数据训了一轮。TTS 用的是 Xinference 部署的 ARS 模型,体验接近真实语音。
2、在接口服务方面,用Spring Boot+Gunicorn搭建Web API,部署在Docker容器中,还集成了微信接口,实现用户通过微信小程序进行交互
3、用 Dify 来做流程编排,让多个模型之间的调用变得更顺畅,整体运行起来比较稳定,也方便后期维护和扩展。