程序聚合 软件案例 自动化脚本

自动化脚本

2026-03-17 14:21:39
行业:内容平台
载体:爬虫/脚本
技术:Python

业务和功能介绍

这是一个专业的AI大模型价格数据获取项目,致力于实时采集全球主流大模型供应商的定价信息。项目覆盖OpenAI(GPT系列)、Google(Gemini)、Anthropic(Claude)、DeepSeek、百度(文心一言)、阿里(通义千问)、字节跳动(豆包)等国内外知名厂商的API价格数据。系统通过自动化手段获取取各平台的模型名称、输入/输出单价、计费单位、货币类型、模型层级等关键字段,并支持按文本、图像、音频、视频等多模态类型分类采集。采集数据经过清洗、标准化处理后,存储至结构化数据库,为下游的价格比对分析、成本优化推荐、动态定价策略等应用场景提供实时、准确的数据支撑。

项目实现

本项目基于 Python + Selenium + FastAPI 技术栈构建,采用模块化爬虫架构实现主流大模型价格数据的自动化采集。核心框架包含以下关键组件:
1. 浏览器自动化层
使用 Selenium WebDriver 模拟真实用户操作,支持无头模式(Headless)运行
集成 WebDriver Manager 自动管理 ChromeDriver 版本兼容性
实现智能下载监听机制,通过文件完整性校验确保数据下载成功
2. 数据处理管道
基于 Pandas 构建多阶段 ETL 流程,支持堆叠式 CSV 的智能解析
实现跨平台编码检测(UTF-8/GBK),确保中文数据正确读取
统一价格单位转换逻辑(千 tokens → 百万 tokens),标准化输出格式
3. 日志与异常处理
采用集中式日志配置,支持按模块分类记录与日志轮转
虚拟显示适配 Linux/Windows 双平台部署场景
4. 可扩展架构设计
各云厂商爬虫模块独立封装(如 doubao、qwen、claude 等),遵循统一接口规范
输出数据标准化为 CSV 格式,便于后续 API 服务集成与前端展示

示例图片视频


falcon
30天前活跃
方向: 后端-Java、爬虫/脚本-爬虫/脚本、
交付率:100.00%
相似推荐
跨平台论文检索系统
行业场景 当前毕业生、研究生等在毕业论文攥写方面对于现有论文的检索来说十分不方便,需要多个平台检索关键词搜索到符合自身专业的专业性论文,这导致在攥写毕业论文的过程中效率极具下降,所以编写了这套多平台论文检索系统 功能介绍 1.具体有论文关键词检索模块、预览模块、条件筛选模块等 2.主要功能为用户输入相关关键词后,设定筛选条件,搜索出多平台的论文后,可支持用户预览部分原文、跳转到论文原网址等功能
图片批量重命名工具
行业场景 当下电商、摄影等行业面临大量不规则名命的图片,手动重命名十分繁琐费时,所以此程序目的是批量为大量图片重命名,节约宝贵时间,提升工作效率 功能介绍 1.该程序有上传/拖拽上传图片文件夹功能模块、图片原名/重命名预览模块、重命名元素添加功能模块、图片重复名称检测模块、重复名称手动修改模块等。 2.该程序的主要功能为,用户将包含图片的文件夹拖拽/点击上传到程序中后,根据自身需要,在程序右下方的元素添加模块中添加不同元素,有时间、宽高、尺寸、前缀、后缀、分隔符、原名等等元素。用户选择好元素后,将会在左侧看到重命名预览,预览区域下方有选择性前后缀功能按钮,用户可选择其中部分图片修改前后缀。
双模块测距+多格式取色二合一工具
行业场景 旨在解决前端、UI/UX设计师在工作中需要详细测量屏幕物理、逻辑双像素以及精确取色等需求,市面上大多类似工具要不臃肿,要不功能不全,因此开发此工具针对性的解决痛点。 功能介绍 该项目有测距模块和取色模块两大板块。测距模块细分为线条测距功能和框选测距功能两个小功能块,这让该测距工具不仅仅能够测量单一的宽度和高度,还可以在有需求时同步测量宽高面积,极大的提高了涵括性与效率性。取色模块支持市面上大部分的色彩格式,让使用者不必再去搜索/转换相应的其它色彩格式。且两个模块都支持放大镜,保证最终数据的精确性。
微信多任务定时自动发消息工具
行业场景 当下老板、教师、老板、各行业领导每次在某个特定时间段需要在微信群发送某些特定消息时,总是需要手动操作,且有时还需要熬着时间,这极大的增大了精神/身体双疲劳,所以就开发了这款多任务定时自动发送微信消息的工具 功能介绍 1.该项目主要有任务添加模块:指定联系人模块、自定义定时模块、任务执行模式(单次/循环)模块、自定义发送内容模块、添加任务功能按钮、任务增删改查模块。 2.主要为用户输入指定的联系人 /群的名称或备注后,根据需要自定义时间,设定任务的执行模式,输入自定义发送内容,最终点击新建任务,那么该任务就会被添加到右侧的任务栏,任务栏中的任务支持增删改查。
去中心化 NFT 数字藏品交易市场 DAPP
传统数字藏品交易平台普遍存在中心化托管风险高、版权确权溯源难、交易数据不透明、平台抽成比例高等行业痛点,用户的数字资产与合法权益无法得到有效保障。本项目立项目标是打造一款完全运行在链上的去中心化 NFT 交易 DAPP,实现数字藏品的链上确权、可信交易与全生命周期溯源,彻底规避中心化平台的运营风险,降低用户交易成本,提升交易全流程的透明度与可信度。核心功能模块包含四大板块:一是 NFT 合规铸造模块,支持用户上传原创数字作品,一键生成符合 ERC-721 标准的链上 NFT,自动完成版权确权;二是交易市场模块,覆盖固定价出售、限时竞价拍卖、一键求购等多元交易模式;三是个人资产管理模块,支持用户查看持有的 NFT 藏品、历史交易记录、收益明细与版税收入;四是链上溯源模块,所有 NFT 的铸造、流转、交易记录全部上链存证,公开可查。核心业务流程为:用户通过 MetaMask 等 Web3 钱包完成身份连接与认证→上传原创数字作品,填写藏品信息,支付链上 Gas 费完成 NFT 铸造与确权→用户可选择将 NFT 挂单至交易市场,设置售价或拍卖规则;其他用户可在市场浏览藏品,连接钱包后完成支付购买,交易成功后 NFT 自动划转至买家钱包,资金实时结算至卖家账户,全流程操作均在链上执行,无中心化机构干预。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服