自研大模型中转平台

立项背景和目标：当前大模型生态呈现多模型并行发展的格局，不同模型在能力侧重、价格、调用方式上差异显著，用户频繁切换平台成本高、对话数据分散。本平台旨在打造统一的大模型中转聚合入口，将主流大模型能力整合到同一交互界面中，实现一次接入、多模型可用，降低用户使用门槛，提升对话管理与知识沉淀效率。
软件功能、核心功能模块：核心模块包括①多模型对话系统 —— 支持 GPT 系列等主流大模型的切换调用，提供文字、附件、语音等多模态输入方式，流式输出响应；②对话管理模块 —— 新对话创建、历史对话搜索、对话分组归类，方便用户按主题管理会话；③笔记功能 —— 对话过程中关键内容可一键沉淀为笔记，便于知识复盘与整理；④用户与权限体系 —— 独立用户账号、使用记录与配额管理，保障数据隔离与安全；⑤模型切换中心 —— 顶部快捷切换不同模型版本，对比不同模型输出效果。
业务流程、功能路径描述：用户登录后进入对话主界面，默认加载上次会话或新建对话；通过顶部下拉切换目标大模型，在输入框输入文字、上传附件或发送语音发起提问；系统将请求转发至对应模型接口，流式返回回复内容并渲染到对话区；用户可通过左侧导航栏搜索历史对话、创建分组归类、将重要内容保存为笔记，形成 "提问 — 对话 — 沉淀 — 管理" 的完整使用闭环。

整体架构和设计思路，不同模块使用的技术栈：采用前后端分离架构，前端构建类原生的对话交互界面，支持流式输出渲染、Markdown 格式解析与多模态输入组件；后端作为 API 中转网关，核心是模型适配层 —— 对不同厂商大模型的请求 / 响应格式做统一抽象与转换，对外提供标准化接口；数据层存储用户信息、对话记录、笔记与分组数据，采用关系型数据库保证事务一致性。网关层实现限流、配额与鉴权控制，保障多租户场景下的服务稳定性。
"我" 的负责模块和结果：主要负责模型中转网关与前端对话交互模块的开发。中转网关实现了多模型 API 的统一封装与协议转换，支持 GPT 系列等模型的无缝切换，单条请求中转延迟控制在百毫秒级；前端对话模块实现了流式响应逐字渲染、代码块高亮、附件上传与语音输入等完整交互能力，页面首屏加载时间优化至 1 秒内。平台已支持多模型并发调用，用户对话数据持久化存储，会话历史检索响应毫秒级。
"我" 遇到的难点、坑，和解决方案：难点一是各模型厂商 API 格式不统一（请求字段、流式返回结构差异大），通过设计统一的适配器模式，为每个模型实现独立适配类，新增模型只需扩展适配器即可，解决了耦合度高的问题；难点二是流式响应的前端渲染与断线重连，采用 SSE 结合本地缓冲区方案，断线后基于最后接收的 token 位置续传，保证长对话输出不中断；难点三是多用户并发下的模型配额与限流控制，引入令牌桶算法结合用户级配额池，既防止单用户滥用，又保证整体资源合理分配，有效降低了超量调用风险。