程序聚合 软件案例 大模型 API 测速台——可视化对比大模型 API 性能的 Web 工具

大模型 API 测速台——可视化对比大模型 API 性能的 Web 工具

2026-07-16 14:51:06
行业:人工智能
载体:网站
技术:Python、Flask、SQLite

业务和功能介绍

## 一、Demo 简介

- **是什么**:一个单页 Web 应用,用户填写 API 信息即可对大模型进行测速,实时展示首字延迟、TPS(Token/秒)等关键指标,并支持多模型历史数据对比图表。

- **面向谁**:开发者、产品经理、AI 技术选型者,以及所有需要接入和评估大模型 API 的人。

- **主要功能**:

1. 单模型测速:填写 API 地址、密钥、模型名称、测试 Prompt,一键发起请求,实时返回首字延迟、成功率、TPS、等指标。

2. 多模型对比:支持将多次测速结果保存到历史记录,以图表形式横向对比不同模型的关键性能指标。

3. 结果可视化:用图表直观呈现测试数据,避免"看 JSON"的低效方式。

项目实现

1.
## 整体架构
这是一个前后端一体的单进程 Web 应用,用于测试兼容 OpenAI 格式的大模型流式 API 性能。

应用分三层。最上层是浏览器中的前端,负责测速的全部业务逻辑:构造请求、并发发起、解析 SSE 流、计算 TTFT 和 TPS 等指标、渲染结果、管理历史记录。中间层是 Flask 后端,它不参与指标计算,只承担两项职责--一是作为代理转发请求以绕开浏览器的 CORS 限制,二是提供历史记录的增删查改接口。最底层是一个 SQLite 文件 history.db ,内含两张结构相同但相互隔离的表: history 存真实测速数据, seed_history 存模拟数据。

后端使用 Python 3.12 配合 Flask 3.0 及以上版本。除了 Flask 这一唯一的外部依赖,其余全部使用 Python 标准库:数据库访问用 sqlite3 ,HTTP 请求用 urllib.request ,SSL 处理用 ssl ,并发锁用 threading 。这使得部署极其轻量, requirements.txt 里只有一行 flask>=3.0 。

前端是纯 HTML、CSS 和原生 JavaScript,使用 ES2020 及以上语法,没有任何构建工具或框架。唯一的第三方库是 Chart.js 4.4.7,通过 jsdelivr CDN 引入,用于绘制对比柱状图。前后端通信全部用 fetch API,流式响应的解析依赖 ReadableStream 和 TextDecoder 两个浏览器原生能力。

数据层是 SQLite 单文件,无需安装数据库服务,随项目目录携带。启动脚本 run.bat 是 Windows 批处理,会自动 pip install 依赖后启动 Flask。

2.全部
3.一开始计划html单文件,但遇到浏览器的 CORS 限制,添加后端转发解决

示例图片视频


24小时内活跃
方向: 后端-Python、前端-Web前端、
交付率:100.00%
相似推荐
基于深度学习的车牌识别系统
本项目面向智慧交通与停车管理场景,基于深度学习技术设计实现一套车牌自动识别桌面系统,旨在提供高效、准确、易用的车牌图像识别服务。系统以提高识别效率、提升准确度、提供可视化交互和保障数据安全为业务目标,通过深度学习算法减少人工干预,在多种复杂场景下保持高识别率。 系统涵盖七大核心功能模块:用户认证与权限管理模块支持普通用户注册登录,内置管理员和普通用户双角色,密码通过 SHA-256 加盐哈希存储,管理员可管理账号状态和查看操作日志;图像加载与预处理模块支持常见图像格式导入,依次完成灰度化、双边滤波去噪、CLAHE 自适应直方图均衡和 Canny 边缘检测四步处理,以 2×2 网格实时展示中间结果;车牌定位检测模块基于 YOLOv8n 深度学习模型识别车牌区域,返回边界框坐标和置信度,支持置信度和 IoU 阈值实时调节,在原图上标注检测结果;车牌字符识别模块采用 LPRNet 端到端模型,无需字符分割即可直接识别中国车牌格式,通过 CTC 解码策略处理变长字符序列,输出识别结果及耗时;识别记录与历史管理模块自动保存每次成功识别的车牌文本、置信度、耗时、图像路径和时间戳,同时记录定位坐标信息,支持历史查询和识别统计。 管理员管理模块提供用户列表管理、账号启用禁用、密码重置、日志查看和用户统计等功能;系统交互界面模块基于 PyQt5 构建现代化 GUI,侧栏提供分步操作指引(图像预处理、车牌定位、车牌识别),支持一键全自动识别,可调节阈值滑块实时调整识别灵敏度,进度条反馈处理进度,大号展示区域醒目显示识别结果。综合来看,系统实现了从图像加载到车牌字符串输出的完整识别流程,同时集成了用户认证和记录管理功能,具有较高的实用价值。
E充网 充电APP
面向 C 端新能源车主的充电桩服务平台,接入社会公用充电桩,支持远程启停、附近空闲桩查找、路线规划、停车场开门等场景,覆盖北京、昆明、西安等多个城市。各地业务政策、运营商、费率差异较大,采用"一地一套"独立部署模式:各地自有 App 包、后台服务、数据库及服务器,完全隔离。 核心功能: LBS 找桩导航:基于定位展示周边空闲充电桩,集成地图 SDK 做路线规划 远程启停充电:扫码 / 远程调用运营商接口启动、停止充电,实时拉取充电进度与费用 停车场联动:对接场站道闸,App 内一键开门,充电 + 停车闭环 订单与支付:计费规则(电费 + 服务费)本地化配置,订单落地 MySQL,Redis 缓存热点桩状态
新能源充电设施管理系统
负责新能源设施的系统管理模块开发,实现设施信息的统一录入与状态监控; 参与政府补贴申请审核流程的系统搭建,优化审核逻辑与数据校验机制; 协助完成新能源设施审核相关功能的开发与测试,确保流程合规性与高效性; 对接企业信息数据接口,实现用户信息与系统数据的同步与管理; 承担系统日常数据维护与分析工作,提升数据准确性与系统运行效率; 完成与第三方系统的接口对接,保障数据交互的稳定性与安全性。
奇瑞采购管理平台-奇瑞采购管理平台
业务: 1、供应商全生命周期管理(SRM 核心差异化业务) 2、采购全流程 R2P 业务闭环(需求→寻源→订单→履约→对账付款) 功能: 1、供应商入驻准入 2、供应商动态管理 3、供应商绩效考评(季度 / 年度) 4、优化与淘汰 5、采购需求管理(内部发起) 6、寻源定价业务(多模式线上化) 7、采购合同管理 8、订单协同履约(采供双向协同核心) 9、对账、发票与财务结算(资金流闭环)
某汽车品牌app管理系统
1:项目背景和目标 主要用于维护某汽车品牌app,通过后台管理系统,可以控制app中的展示内容,限制用户的行为,发布一些重要的资讯和活动 2:软件功能,业务流程的介绍 用户管理,可以通过后台黑名单的添加来限制用户行为,通过用户级进行区分管理 社区维护,通过后台系统发布重要的资讯或者活动内容,是用户日常获取官方信息的重要途经 商城维护,通过后台系统来定义商品内容,商品价格,退换货,以及相关内容
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服