立项背景和目标:当前大模型生态呈现多模型并行发展的格局,不同模型在能力侧重、价格、调用方式上差异显著,用户频繁切换平台成本高、对话数据分散。本平台旨在打造统一的大模型中转聚合入口,将主流大模型能力整合到同一交互界面中,实现一次接入、多模型可用,降低用户使用门槛,提升对话管理与知识沉淀效率。
软件功能、核心功能模块:核心模块包括①多模型对话系统 —— 支持 GPT 系列等主流大模型的切换调用,提供文字、附件、语音等多模态输入方式,流式输出响应;②对话管理模块 —— 新对话创建、历史对话搜索、对话分组归类,方便用户按主题管理会话;③笔记功能 —— 对话过程中关键内容可一键沉淀为笔记,便于知识复盘与整理;④用户与权限体系 —— 独立用户账号、使用记录与配额管理,保障数据隔离与安全;⑤模型切换中心 —— 顶部快捷切换不同模型版本,对比不同模型输出效果。
业务流程、功能路径描述:用户登录后进入对话主界面,默认加载上次会话或新建对话;通过顶部下拉切换目标大模型,在输入框输入文字、上传附件或发送语音发起提问;系统将请求转发至对应模型接口,流式返回回复内容并渲染到对话区;用户可通过左侧导航栏搜索历史对话、创建分组归类、将重要内容保存为笔记,形成 "提问 — 对话 — 沉淀 — 管理" 的完整使用闭环。
整体架构和设计思路,不同模块使用的技术栈:采用前后端分离架构,前端构建类原生的对话交互界面,支持流式输出渲染、Markdown 格式解析与多模态输入组件;后端作为 API 中转网关,核心是模型适配层 —— 对不同厂商大模型的请求 / 响应格式做统一抽象与转换,对外提供标准化接口;数据层存储用户信息、对话记录、笔记与分组数据,采用关系型数据库保证事务一致性。网关层实现限流、配额与鉴权控制,保障多租户场景下的服务稳定性。
"我" 的负责模块和结果:主要负责模型中转网关与前端对话交互模块的开发。中转网关实现了多模型 API 的统一封装与协议转换,支持 GPT 系列等模型的无缝切换,单条请求中转延迟控制在百毫秒级;前端对话模块实现了流式响应逐字渲染、代码块高亮、附件上传与语音输入等完整交互能力,页面首屏加载时间优化至 1 秒内。平台已支持多模型并发调用,用户对话数据持久化存储,会话历史检索响应毫秒级。
"我" 遇到的难点、坑,和解决方案:难点一是各模型厂商 API 格式不统一(请求字段、流式返回结构差异大),通过设计统一的适配器模式,为每个模型实现独立适配类,新增模型只需扩展适配器即可,解决了耦合度高的问题;难点二是流式响应的前端渲染与断线重连,采用 SSE 结合本地缓冲区方案,断线后基于最后接收的 token 位置续传,保证长对话输出不中断;难点三是多用户并发下的模型配额与限流控制,引入令牌桶算法结合用户级配额池,既防止单用户滥用,又保证整体资源合理分配,有效降低了超量调用风险。