大模型在问答场景天然契合,使用大模型能力,可以提升问答搜索效果,提升长尾满意度。考虑大模型技术特点,其在自然语言理解,知识获取与推理,交互性以及实时性等方
面天然契合问答场景。并且可以很好的满足长尾问题,提升问答覆盖
输入端进行统一垂类意图识别,通过意图将输入根据配置路由到对应的智能问答架构
系统,同时可降低额外非对应意图请求,节省模型算力。
通过插件配置的方式根据不同垂类建设对应知识索引库,支持 prompt 微调,以及模型
微调。
知识库方面,重点建设rag垂类优质数据
考虑模型的大小和模型生成结果的耗时以及算力成本,支持近线召回和实时在线生成答案
两种召回方式。
近线场景下,基于答案效果和成本的考量,通过引入向量泛化召回,答案添加缓存,词频
统计等逐级漏斗的机制来降低无效的重复生产,节省模型算力。
在线场景下,基于问答服务模块存在多处跨机房的请求现状,为了保证答案生成的耗时可
控。通过异步读写实时数据缓存的方式,来最大程度规避整体通路请求因为跨机房而导致
耗时高的问题。
为提升模型答案生成质量,引入搜索增强技术(RAG),在重点建设垂类上(如游戏),通过抓
取解析数据搭建垂类知识库。在通用场景接入三高库(高时效,高质量,高权威)。通过接入
优质素材作为大模型输入,从而提升生成答案的效果。