业务和功能介绍
这是一个专业的AI大模型价格数据获取项目，致力于实时采集全球主流大模型供应商的定价信息。项目覆盖OpenAI（GPT系列）、Google（Gemini）、Anthropic（Claude）、DeepSeek、百度（文心一言）、阿里（通义千问）、字节跳动（豆包）等国内外知名厂商的API价格数据。系统通过自动化手段获取取各平台的模型名称、输入/输出单价、计费单位、货币类型、模型层级等关键字段，并支持按文本、图像、音频、视频等多模态类型分类采集。采集数据经过清洗、标准化处理后，存储至结构化数据库，为下游的价格比对分析、成本优化推荐、动态定价策略等应用场景提供实时、准确的数据支撑。
项目实现
本项目基于 Python + Selenium + FastAPI 技术栈构建，采用模块化爬虫架构实现主流大模型价格数据的自动化采集。核心框架包含以下关键组件：
1. 浏览器自动化层
使用 Selenium WebDriver 模拟真实用户操作，支持无头模式（Headless）运行
集成 WebDriver Manager 自动管理 ChromeDriver 版本兼容性
实现智能下载监听机制，通过文件完整性校验确保数据下载成功
2. 数据处理管道
基于 Pandas 构建多阶段 ETL 流程，支持堆叠式 CSV 的智能解析
实现跨平台编码检测（UTF-8/GBK），确保中文数据正确读取
统一价格单位转换逻辑（千 tokens → 百万 tokens），标准化输出格式
3. 日志与异常处理
采用集中式日志配置，支持按模块分类记录与日志轮转
虚拟显示适配 Linux/Windows 双平台部署场景
4. 可扩展架构设计
各云厂商爬虫模块独立封装（如 doubao、qwen、claude 等），遵循统一接口规范
输出数据标准化为 CSV 格式，便于后续 API 服务集成与前端展示
1. 浏览器自动化层
使用 Selenium WebDriver 模拟真实用户操作，支持无头模式（Headless）运行
集成 WebDriver Manager 自动管理 ChromeDriver 版本兼容性
实现智能下载监听机制，通过文件完整性校验确保数据下载成功
2. 数据处理管道
基于 Pandas 构建多阶段 ETL 流程，支持堆叠式 CSV 的智能解析
实现跨平台编码检测（UTF-8/GBK），确保中文数据正确读取
统一价格单位转换逻辑（千 tokens → 百万 tokens），标准化输出格式
3. 日志与异常处理
采用集中式日志配置，支持按模块分类记录与日志轮转
虚拟显示适配 Linux/Windows 双平台部署场景
4. 可扩展架构设计
各云厂商爬虫模块独立封装（如 doubao、qwen、claude 等），遵循统一接口规范
输出数据标准化为 CSV 格式，便于后续 API 服务集成与前端展示
示例图片视频
相似推荐
多源数据匹配与报表生成工具
为高考志愿填报场景开发数据匹配工具，将4个年度的招生计划表通过学校名称、专业名称、年份等多条件交叉匹配，自动关联录取分数和位次数据，生成标准化Excel汇总报表。支持模糊匹配和数据校验，准确率99%以上。
旅游企业网站、银行学习平台自动化、游戏自动化脚本
1、应客户要求开发某银行的内部学习平台自动化脚本
2、该银行要求员工挂满指定学分（在线看课程1个小时为1学分），超过20分钟无动作即被系统判定无效，需要重新进入学习界面。
软件用python做成独立EXE应用程序，直接在软件登录账号，一键开始自动挂课，挂满自动切换课程。
3、该银行不定期举行内部考试，用软件可以一键抓取所有考试题目。
清关场同屏对比分拣控制系统
1. 图像与信息绑定：将CT、X光机等设备捕捉的图像与检查数据（EDI信息）关联。同屏比对：在同一界面显示不同来源的影像（如CT与MRI），并可通过多视窗、不同窗宽/窗位进行比对分析。
2. 自动化分拣控制 – 指令控制：接收上层系统（如WMS）指令，控制分拣线的启动、停止和速度调节。- 状态监控：实时监控分拣线运行状态、电机电流、光电传感器等。- 异常处理：在卡件、拥堵等异常情况下自动停机并报警。 PLC（可编程逻辑控制器）、光电/接近传感器、变频器、电机、HMI（人机界面） 实现物流的自动化、高效分拣，降低人工成本，提升分拣准确率和效率。
3. 旧线改造与升级 – 硬件更换：更换老旧的PLC控制器、弱电系统（如线路、传感器、执行器）。- 软件重写：重新编写服务器端的控制与数据处理程序，适配新硬件并优化逻辑。- 系统集成：确保新系统与现有MES/WMS等信息系统无缝对接。 新一代PLC（如西门子S7-1500系列）、工业以太网、服务器（应用/数据库）、定制化软件开发 提升生产线可靠性、灵活性和智能化水平，消除老旧系统维护难、备件缺的痛点。
4. 新线规划与集成 – 方案设计：根据工艺需求，提供分拣线整体布局、设备选型和控制系统方案。- 接口对接：实现新分拣系统与仓库管理系统（WMS）、企业资源计划（ERP）等平台的深度对接。- 智能化扩展：为未来集成RFID、机器视觉、数据分析等智能模块预留接口。 系统架构设计、工业网络规划（如PROFINET、EtherCAT）、API（应用程序接口）开发、物联网（IoT）技术 打造一个高效、柔性、可扩展的现代化智能分拣系统，实现信息流与物流的深度融合。
Fuxi软件插件功能开发
Fuxi软件是基于公司自研芯片进行编程的软件，核心功能是提供平台和可视化工具，为用户进行fpga设计提供便利。本人开发和维护的功能有以下几块：
1. Console控制台：（1）收集和管理插件和工具的输出消息，支持如保存，加载历史日志，筛选，查找等功能;（2）通过命令行的形式运行工具
2. Flow Runs工具:（1）控制工作流的执行流程；（2）监控工作流的状态
3. FpgaEditor：（1）分级显示芯片细节，最大程度可显示芯片端口信息；（2）支持可视化编辑单元器件
工单设备管理系统
在手机浏览器访问设备管理系统，登录成功后进入首页，页面底部标签可切换扫码、首页、消息、个人中心。在首页可进入工单管理、设备管理、维保任务。工单管理可进入工单列表工单详情、工单创建、工单执行；设备管理可进入设备列表、设备详情；维保任务列表，维保详情；点击扫一扫可扫描设备二维码打开设备详情页；消息是显示消息列表，阅读消息，点击工单号跳转工单执行页；个人中心可修改用户手机号码、用户名、密码；维护PC端管理系统；
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服