本项目是一套基于 Python 开发的工具集,包含多个实用脚本,用于支撑系统的建设、测试与日常运维。立项背景:系统上线和迭代过程中存在大量重复性事务,如历史数据迁移、附件批量下载、页面与接口数据核对、测试数据构造、数据库备份等,人工处理费时费力且容易出错,因此将这些事项逐步沉淀为可复用的自动化脚本。工具集按用途分为五大类:数据采集类,负责网页内容与附件资源的批量抓取,支持动态渲染页面和反爬场景;数据迁移类,负责 Excel/文本数据的清洗转换与数据库导入,以及证件附件的批量下载与归档整理;数据校验类,负责接口返回数据与台账 Excel 的自动比对、列表页与详情页数据一致性核对,校验结果自动回写 Excel;自动化测试类,通过图像识别实现模拟器界面自动操作,并提供图形化测试程序;运维辅助类,涵盖数据库远程备份、日志筛选整理、PDF 发票信息提取、测试数据批量生成与加解密等。整体形成了一条从数据采集、迁移、校验到测试、备份的自动化处理链路,显著减少了重复人工操作。
设计思路上采用"一个脚本解决一类问题"的轻量工具化模式,按用途分目录管理,公共能力靠约定和配置沉淀:数据库、路径等参数通过 ini 配置文件与代码分离;输入输出统一目录约定;核心脚本内置异常重试、多级回退、多线程并发和试跑模式,可打包成 exe 交付非技术同事直接使用。技术选型按场景划分:HTTP 采集用 requests,针对有 WAF 防护的站点改用可模拟浏览器 TLS 指纹的 curl_cffi;动态页面基于 Scrapy 框架并自行封装 Selenium 渲染中间件;数据处理统一采用 openpyxl 与 pandas;数据库操作用 pymysql;远程备份基于 paramiko;界面自动化采用 ADB 截屏加 OpenCV 模板匹配;桌面交互工具用 Tkinter 实现。本人独立完成全部脚本的选型、开发与维护,工具覆盖日常数据迁移、核对、测试、备份等事项,其中单次数据迁移涉及附件数万张,通过并发下载与断点重试在短时间内完成,数据核对类工具将人工逐条比对压缩为分钟级批量校验。难点方面:一是目标站点存在 WAF 拦截,常规请求被识别,通过模拟浏览器 TLS 指纹并设计失败回退下载策略解决;二是列表页与详情页数据核对工作量大,采用浏览器自动化逐条采集后与 Excel 台账程序化比对,替代人工核对并避免漏检;三是批量下载稳定性问题,通过重试机制、失败记录与断点续传保证任务可恢复执行。