基于当前免费的模型服务,进行了多方面的封装调试,实现了多会话、多只能体的问答,该项目为自主开发测试,为多为用户提供稳定服务,也同时提供了稳定的API的服务,权限进行三级控制,防止权限混乱。
前端使用VUE框架以及element-plus,后端使用FastAPI框架,后端采用异步方案,支持高并发场景,满足基本需求使用,增加了缓存机制,为多个节点的接口加速了影响,增加用户体验;允许用户主动注册模型,根据模型不同适配不同的推理场景,后期维护会增加知识库能力。当前该项目推出了正式地址:https://askmate-service.vip.cpolar.top/。