程序聚合 软件案例 自研大模型中转平台

自研大模型中转平台

2026-07-17 20:20:43
行业:人工智能、内容平台
载体:网站
技术:Spring Boot、Vue

业务和功能介绍

立项背景和目标:当前大模型生态呈现多模型并行发展的格局,不同模型在能力侧重、价格、调用方式上差异显著,用户频繁切换平台成本高、对话数据分散。本平台旨在打造统一的大模型中转聚合入口,将主流大模型能力整合到同一交互界面中,实现一次接入、多模型可用,降低用户使用门槛,提升对话管理与知识沉淀效率。
软件功能、核心功能模块:核心模块包括①多模型对话系统 —— 支持 GPT 系列等主流大模型的切换调用,提供文字、附件、语音等多模态输入方式,流式输出响应;②对话管理模块 —— 新对话创建、历史对话搜索、对话分组归类,方便用户按主题管理会话;③笔记功能 —— 对话过程中关键内容可一键沉淀为笔记,便于知识复盘与整理;④用户与权限体系 —— 独立用户账号、使用记录与配额管理,保障数据隔离与安全;⑤模型切换中心 —— 顶部快捷切换不同模型版本,对比不同模型输出效果。
业务流程、功能路径描述:用户登录后进入对话主界面,默认加载上次会话或新建对话;通过顶部下拉切换目标大模型,在输入框输入文字、上传附件或发送语音发起提问;系统将请求转发至对应模型接口,流式返回回复内容并渲染到对话区;用户可通过左侧导航栏搜索历史对话、创建分组归类、将重要内容保存为笔记,形成 "提问 — 对话 — 沉淀 — 管理" 的完整使用闭环。

项目实现

整体架构和设计思路,不同模块使用的技术栈:采用前后端分离架构,前端构建类原生的对话交互界面,支持流式输出渲染、Markdown 格式解析与多模态输入组件;后端作为 API 中转网关,核心是模型适配层 —— 对不同厂商大模型的请求 / 响应格式做统一抽象与转换,对外提供标准化接口;数据层存储用户信息、对话记录、笔记与分组数据,采用关系型数据库保证事务一致性。网关层实现限流、配额与鉴权控制,保障多租户场景下的服务稳定性。
"我" 的负责模块和结果:主要负责模型中转网关与前端对话交互模块的开发。中转网关实现了多模型 API 的统一封装与协议转换,支持 GPT 系列等模型的无缝切换,单条请求中转延迟控制在百毫秒级;前端对话模块实现了流式响应逐字渲染、代码块高亮、附件上传与语音输入等完整交互能力,页面首屏加载时间优化至 1 秒内。平台已支持多模型并发调用,用户对话数据持久化存储,会话历史检索响应毫秒级。
"我" 遇到的难点、坑,和解决方案:难点一是各模型厂商 API 格式不统一(请求字段、流式返回结构差异大),通过设计统一的适配器模式,为每个模型实现独立适配类,新增模型只需扩展适配器即可,解决了耦合度高的问题;难点二是流式响应的前端渲染与断线重连,采用 SSE 结合本地缓冲区方案,断线后基于最后接收的 token 位置续传,保证长对话输出不中断;难点三是多用户并发下的模型配额与限流控制,引入令牌桶算法结合用户级配额池,既防止单用户滥用,又保证整体资源合理分配,有效降低了超量调用风险。

示例图片视频


henjiu
3天前活跃
方向: 后端-Java、前端-Web前端、
交付率:100.00%
相似推荐
供应链管理系统(含商城
本系统是一套覆盖供应链全链条的一体化管理平台,旨在帮助企业实现从采购到交付的全流程数字化协同。 核心功能模块包括: 采购管理:支持采购计划制定、供应商比价、采购订单生成及合同管理,实现从采购需求到订单履约的全过程追踪。 库存控制:涵盖多仓库库存管理、实时库存盘点、库存预警与智能补货建议,支持多仓库间调拨与数据同步,有效降低库存积压成本。 订单处理:支持订单自动分拣、状态追踪与异常预警,实现订单从生成到交付的全生命周期管理,提升订单履约效率。 物流追踪:打通物流接口,实时同步物流状态,支持物流轨迹查询与异常提醒,确保货物交付全程可视可控。 供应商协同:建立供应商准入评估体系,支持供应商绩效评价,实现供应商全生命周期管理。 进销存一体化:打通采购、销售、库存数据壁垒,实现数据实时同步与联动管理,避免信息孤岛。 多客户询报价:支持多客户同时询价、供应商在线报价、比价分析,大幅缩短询报价周期,提升客户响应效率,是系统的一大核心特色功能。
考不倒教学考试平台
(一)学生端:练习与考试 学员登录后可根据年级、教材版本进行日常练习和在线考试。平台内置英语题库,涵盖词汇、语法、阅读、听力、写作等全题型。系统根据学员练习记录和答题数据,智能匹配练习题,实现个性化学习路径。练习完成后系统自动批改并生成详细解析,帮助学员理解错题、巩固知识。 (二)积分激励体系 建立完善的积分奖励机制,学员完成练习或达成学习目标可获得积分,积分可累积并申请提现,将学习成果转化为实际激励,有效提升学员学习主动性与平台粘性,助力机构降低学员流失率、提升续费率。 (三)教师端:制卷与阅卷 教师通过教师端自主制卷,支持从题库中按题型、难度、知识点等多维度筛选题目快速生成试卷。考试结束后在线完成阅卷评分,系统自动统计成绩与班级整体分析。制卷与阅卷效率较传统方式大幅提升。 (四)AI个性化评估与智能匹配 平台内置AI评估引擎,通过深度分析学员练习数据精准识别薄弱知识点。基于评估结果自动匹配推荐针对性练习题,实现“千人千面”的精准练习。教师端同步呈现学情画像,辅助制定精准教学策略,有力支撑续费转化。
AI Harness Platform
AI Harness Platform 是一套面向企业私有化部署的 AI Agent 工程化平台,核心理念为“Model + Harness = Agent”。项目将模型调用、工具调用、知识检索、上下文管理、任务编排、质量评测与运行监控统一到可追踪的执行链路中,解决企业在智能体应用中难以复现、难以审计和难以规模化运维的问题。 平台采用前后端分离架构:前端使用 React、TypeScript、Vite 和 Tailwind 构建管理控制台;后端以 FastAPI、PostgreSQL、Redis、SQLAlchemy、Alembic、Dramatiq 和 asyncio 为核心,负责智能体运行、异步任务调度、数据持久化与事件分发。通过 Docker Compose 支持私有化部署,并配套数据库迁移、恢复验证与发布冒烟测试。 核心运行链路由 Agent 配置、Planner DAG 规划、Executor/ReAct 执行、子智能体并行协作、Tool Call/Model Call、SSE 事件流和状态持久化组成。系统完整记录 Runs、Events、工具与模型调用,使任务执行过程可回放、可定位。知识库模块支持文档版本化、分块检索、检索证据绑定和 Grounding 审计;上下文模块支持长期记忆、作用域隔离、置顶消息、摘要压缩和动态 Token 预算,使长对话 Token 成本降低 42%。 同时,项目实现 MCP/Skills 的注册、版本、权限与审计链路,并建立 Eval Dataset、Eval Case、Eval Run 自动化回归体系。结合 Prometheus、Grafana、Loki、Tempo 和 OpenTelemetry,实现成本、延迟、系统健康度、日志与 Trace 的全链路可观测。通过 Pytest、Vitest、Playwright 及 Compose 冒烟测试保障交付质量,CI 自动化通过率达到 98%。
AI智能台灯机器人
1. 立项背景和目标:传统台灯功能单一,无法满足K12学龄儿童个性化、智能化学习需求,且家长辅导压力大、儿童用眼健康问题突出。本项目旨在设计一款集护眼照明、AI助学、健康管理于一体的智能台灯,从“照明工具”升级为“智能学习伴侣”,目标包括构建低成本高性能硬件系统、实现PID智能调光、集成离线语音与云端AI服务,并通过完整测试验证系统稳定性。 2. 软件功能、核心功能模块介绍:系统划分为五大核心模块——AI智能护眼照明(基于PID闭环控制动态调节色温与亮度)、环境感知与健康提醒(人体在位检测+用眼计时,45分钟多模态提醒)、离线语音交互(LD3320本地指令解析,响应≤0.8s)、远程互联与控制(MQTT连接微信云,支持APP调参、状态查看、OTA升级)、绘本识别与学习辅导(OV2640采集图像,云端OCR识别+语音合成播放)。 3. 业务流程、功能路径描述:以“APP远程调光”为例,用户APP发起调光指令→云端服务器转发并穿透NAT→设备WiFi接收并校验→PID算法计算PWM占空比执行调光→设备实时采集灯光与环境数据封装上报→APP定时拉取状态刷新界面,形成“指令下发-执行-反馈”闭环。绘本识别流程为:摄像头采集图像→预处理提取特征→上传云端AI引擎进行OCR识别与内容匹配→结果合成语音播放,实现低延迟指读。
抖音视频爬取
能爬取抖音用户主页的所有视频。(私自爬取抖音用户主页全部视频存在违规侵权问题,平台协议明令禁止非官方爬虫抓取他人原创视频,侵害创作者著作权与用户数据权益,还会触发账号封禁、民事追责。若需相关素材,应走抖音开放平台合规接口,经创作者授权后调取,仅用于合规学习研究,严禁批量下载、搬运商用。)
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服