程序聚合 软件案例 自动化脚本

自动化脚本

2026-03-17 14:21:39
行业:内容平台
载体:爬虫/脚本
技术:Python

业务和功能介绍

这是一个专业的AI大模型价格数据获取项目,致力于实时采集全球主流大模型供应商的定价信息。项目覆盖OpenAI(GPT系列)、Google(Gemini)、Anthropic(Claude)、DeepSeek、百度(文心一言)、阿里(通义千问)、字节跳动(豆包)等国内外知名厂商的API价格数据。系统通过自动化手段获取取各平台的模型名称、输入/输出单价、计费单位、货币类型、模型层级等关键字段,并支持按文本、图像、音频、视频等多模态类型分类采集。采集数据经过清洗、标准化处理后,存储至结构化数据库,为下游的价格比对分析、成本优化推荐、动态定价策略等应用场景提供实时、准确的数据支撑。

项目实现

本项目基于 Python + Selenium + FastAPI 技术栈构建,采用模块化爬虫架构实现主流大模型价格数据的自动化采集。核心框架包含以下关键组件:
1. 浏览器自动化层
使用 Selenium WebDriver 模拟真实用户操作,支持无头模式(Headless)运行
集成 WebDriver Manager 自动管理 ChromeDriver 版本兼容性
实现智能下载监听机制,通过文件完整性校验确保数据下载成功
2. 数据处理管道
基于 Pandas 构建多阶段 ETL 流程,支持堆叠式 CSV 的智能解析
实现跨平台编码检测(UTF-8/GBK),确保中文数据正确读取
统一价格单位转换逻辑(千 tokens → 百万 tokens),标准化输出格式
3. 日志与异常处理
采用集中式日志配置,支持按模块分类记录与日志轮转
虚拟显示适配 Linux/Windows 双平台部署场景
4. 可扩展架构设计
各云厂商爬虫模块独立封装(如 doubao、qwen、claude 等),遵循统一接口规范
输出数据标准化为 CSV 格式,便于后续 API 服务集成与前端展示

示例图片视频


falcon
30天前活跃
方向: 后端-Java、爬虫/脚本-爬虫/脚本、
交付率:100.00%
相似推荐
微信小游戏《弹弓打小红鸟》
作品名称:《弹弓打小红鸟》微信小程序 作品简介: 《弹弓打小红鸟》是一款基于微信小程序原生 Canvas 2D 引擎开发的物理弹射类休闲游戏。作品旨在探索小程序在轻量级游戏场景下的性能极限与交互体验。 核心特色: 原生物理引擎: 独立编写物理逻辑,精准模拟重力、碰撞及反弹效果,无需依赖大型第三方游戏引擎,包体极小,加载极快。 极致交互体验: 深度优化触摸事件处理,实现了高精度的拖拽瞄准辅助线与力度反馈,操作跟手。 高性能渲染: 采用对象池技术与纹理图集优化,在复杂的粒子特效与多物体碰撞场景下,依然保持 60FPS 的流畅帧率。 社交化设计: 深度结合微信生态,实现了云端存档、好友排行榜及分享裂变功能,增强了游戏的可玩性与传播性。
微信实时对战类小游戏开发-球球对决局
已完成备案与上线发布,摇杆平面2d射击类游戏,玩法新颖竞技性强, 搭建了云服务器,支持多玩家线上对战。游戏模式及其多样,有对战排位模式、肉鸽模式、地牢模式、好友对战模式、四人混战模式等等。
工具-注册机
自动注册chatgpt账号接入cpa使用 非协议注册,nodejs实现真实浏览器按人工操作步骤,从接码平台用手机号注册,然后auth绑定邮箱并上传cpa,全程自动化。真实注册1000+账号实现token自由,图片内容是富裕账号在某论坛交易发货截图
基于windows操作系统exe软件安全测试
专注 Windows PC 客户端安全测试,擅长 DLL 劫持、本地权限提升至 SYSTEM+TrustedInstaller、中间人 RCE、远程 RCE。国家信息安全漏洞库(CNNVD)收录 695 条,其中中危 15 条。在主流互联网大厂 SRC 获得赏金,涉及 PC 客户端类漏洞挖掘。具备完整的客户端漏洞挖掘、验证、报告撰写能力。
学习追踪
核心功能: 1. 录入功能:填写日期、学习内容、时长,提交后保存到数据库 2. 查看功能:按日期倒序展示所有记录 3. 搜索功能:输入关键词,模糊匹配学习内容 4. 筛选功能:按起止日期筛选某段时间的记录 5. 删除功能:可以删除误录的记录 业务流程:打开网页 → 填写表单 → 提交 → 数据存入 SQLite → 页面刷新显示 → 可以通过搜索框和日期框筛选查看。 github链接:https://github.com/1010wuci
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服