观博千问包含数智讲解员(数字人开发),线路规划,智慧讲解,实时交互,语音问答,展厅导航等,是博物馆现有讲解功能的补充与升级。
是一个微信小程序
同时也开发了对应的后台管理系统
使用了大模型加后端数据处理的方式实现的智能问答功能
自己独立搭建框架开发各个模块,后期有同事加入负责了个别模块
整体框架:基于uni-app搭建框架,封装全局组件和方法;
难点:在小程序中接收socket不断返回的ArrayBuffer数据,转换成多个可播放的语音url,做到边接收边流畅无卡顿的播放语音,做到了1s内语音回复问题
使用同声传译把语音转成文字作为参数传给后端;
项目优化小细节:能用css实现的不用图片,尽量避免使用大图,把图片等静态资源放到服务器上,使用overflow-x:auto 代替scroll-view,使用CDN加载第三方模块,第三方模块按需引入等。