面向四川电力开放平台的数据采集服务,解决电网负荷预测与水库调度计划两类业务数据的自动化获取与本地落库需求。系统通过 OAuth2 获取访问令牌,结合国密 SM2/SM4 算法完成请求签名与数据加解密,确保数据在传输与存储环节的安全合规。采集结果按业务分类写入 MySQL 数据库,采用 source_hash 幂等键实现增量 upsert,避免重复拉取与数据漂移。支持定时自动采集与手动补跑两种模式,数据缺失时可回溯补采,保障生产环境数据的完整性与时效性。
我独立完成该项目的整体设计与开发。系统采用 Python 3.10 构建采集服务,核心链路为:定时调度器触发任务、HTTP 客户端请求接口、国密签名校验、JSON 解析后按字段映射写入 load_forecast 与 reservoir_plan_file 数据表。开发难点在于开放平台接口的国密鉴权(SM2 签名 + SM4 加解密)与数据幂等,我通过引入 source_hash 幂等键做 upsert 解决重复入库问题,并记录每次请求与落库日志便于追溯对账。交付物包含完整源码、依赖清单、部署说明与初始化 SQL,可一键部署至客户内网,已按冻结的 2 个接口范围完成验收交接。