程序聚合 软件案例 Python脚本工具箱

Python脚本工具箱

2026-10-30 21:04:58
行业:金融、政务服务
载体:爬虫/脚本
技术:Python

业务和功能介绍

本项目是一套基于 Python 开发的工具集,包含多个实用脚本,用于支撑系统的建设、测试与日常运维。立项背景:系统上线和迭代过程中存在大量重复性事务,如历史数据迁移、附件批量下载、页面与接口数据核对、测试数据构造、数据库备份等,人工处理费时费力且容易出错,因此将这些事项逐步沉淀为可复用的自动化脚本。工具集按用途分为五大类:数据采集类,负责网页内容与附件资源的批量抓取,支持动态渲染页面和反爬场景;数据迁移类,负责 Excel/文本数据的清洗转换与数据库导入,以及证件附件的批量下载与归档整理;数据校验类,负责接口返回数据与台账 Excel 的自动比对、列表页与详情页数据一致性核对,校验结果自动回写 Excel;自动化测试类,通过图像识别实现模拟器界面自动操作,并提供图形化测试程序;运维辅助类,涵盖数据库远程备份、日志筛选整理、PDF 发票信息提取、测试数据批量生成与加解密等。整体形成了一条从数据采集、迁移、校验到测试、备份的自动化处理链路,显著减少了重复人工操作。

项目实现

设计思路上采用"一个脚本解决一类问题"的轻量工具化模式,按用途分目录管理,公共能力靠约定和配置沉淀:数据库、路径等参数通过 ini 配置文件与代码分离;输入输出统一目录约定;核心脚本内置异常重试、多级回退、多线程并发和试跑模式,可打包成 exe 交付非技术同事直接使用。技术选型按场景划分:HTTP 采集用 requests,针对有 WAF 防护的站点改用可模拟浏览器 TLS 指纹的 curl_cffi;动态页面基于 Scrapy 框架并自行封装 Selenium 渲染中间件;数据处理统一采用 openpyxl 与 pandas;数据库操作用 pymysql;远程备份基于 paramiko;界面自动化采用 ADB 截屏加 OpenCV 模板匹配;桌面交互工具用 Tkinter 实现。本人独立完成全部脚本的选型、开发与维护,工具覆盖日常数据迁移、核对、测试、备份等事项,其中单次数据迁移涉及附件数万张,通过并发下载与断点重试在短时间内完成,数据核对类工具将人工逐条比对压缩为分钟级批量校验。难点方面:一是目标站点存在 WAF 拦截,常规请求被识别,通过模拟浏览器 TLS 指纹并设计失败回退下载策略解决;二是列表页与详情页数据核对工作量大,采用浏览器自动化逐条采集后与 Excel 台账程序化比对,替代人工核对并避免漏检;三是批量下载稳定性问题,通过重试机制、失败记录与断点续传保证任务可恢复执行。

示例图片视频


伊卡洛斯
5天前活跃
方向: 前端-小程序、前端-Web前端、
交付率:100.00%
相似推荐
智能体投标平台
一、 业务介绍(Business Overview) 1. 业务定位 本项目致力于打造国内首款深度垂直于工程EPC(尤其是水泥余热发电)领域的“AI智能投标辅助平台”。通过引入大语言模型(LLM)与RAG(检索增强生成)技术,将传统招投标业务从“人工翻阅、经验估量、熬夜排版”的苦力模式,升级为“一键解析、智能推演、自动成稿”的数智化模式。 2. 核心解决的业务痛点 防废标(合规避险):几百页的标书中潜藏着无数“★号条款”和接口边界矛盾,人工极易漏看,系统提供毫秒级的“排雷”预警。 提效降本(敏捷响应):打破跨专业(机务、电气、水工、土建)协同壁垒,将标书阅读、参数比对、工程量核算的周期从“周级”压缩至“日级”甚至“小时级”。 资产沉淀(经验复用):将老专家的历史提资表、工程量算量规则、优秀技术标片段沉淀为企业专属的“数字大脑”,让新员工也能一键生成专家级的投标方案。 3. 核心业务价值 赋能企业投标团队,实现“读标零遗漏、算量防亏损、方案保高分”,大幅提升企业在国内外EPC市场中的中标率与交付底线。 二、 功能介绍(Function Introduction) 系统围绕招投标全生命周期,打造了五大核心功能模块,实现业务流的闭环: 模块1:多模态标书智能解析引擎 功能描述:支持一键上传几十MB的PDF/Word/图片,系统瞬间完成长文本切片与复杂表格识别。 亮点:内置“防粘连截断”与“上下文纠错”机制,精准提取项目名称、客户、工期以及核心工艺参数(如废气量、主汽参数),彻底告别人工复制粘贴。 模块2:参数语义映射与偏差排雷器 功能描述:自动比对招标参数与企业自有产品库(或历史标准)。 亮点:突破同义词壁垒(自动识别“AQC炉=窑头余热锅炉”),一键生成《技术偏差表》。针对模糊描述、负偏差和强制废标项,进行红黄绿灯预警,辅助商务决策。 模块3:跨专业联动算量与提资推演 功能描述:基于标书参数,系统自动推演并生成符合规范格式的《四大专业提资表》及《工程量清单》。 亮点:采用“大模型推演变量 + Python公式精准计算”的双引擎架构,完美解决AI算术幻觉。支持引用历史相似项目进行参数继承,并用明确的标签(如【推演需核】)提示工程师复核。 模块4:技术标书与方案智能撰写 功能描述:结合当前项目的提取参数与历史优秀标书语料,按章节自动生成施工组织设计、系统设计方案、质量保证措施等。 亮点:彻底摒弃假大空的模板套话。生成的方案紧贴本项目真实参数(如:“针对本项目241660Nm³/h的窑头废气量,我方配置……”),做到“千标千面”。 模块5:CAD图纸轻量化预览与回写 功能描述:内嵌基于开源生态(ezdxf/ODA)的图纸解析工具,支持在系统内直接预览DWG/DXF图纸。 亮点:不仅支持图纸内容的文本提取与参数关联,还支持将修改
自研智慧城市项目-智慧城市基础系统
立项背景和目标:频繁的智慧城市项目有着大量的公共内容但是又有部分局部定制内容,在频繁复制粘贴项目基本框架的情况下,当发现bug时要修改所有用到基础内容的系统,非常的麻烦和容易出错;为了解决这个问题,我们将基础的后端打包成Maven,前端打包成npm,实现引入批量更新的能力; 软件功能:核心权限用户菜单路由图片后端首页排班工作流管理,附件上传组件,用户角色行政区划选择组件化,接口和工具方法request导出,外加巡查打卡作为基础内容制作;
智慧水务信息管理平台
项目简介:面向城市排水管网运维管理数字化升级需求,基于 SpringCloud 微服务架构,结合 GIS、在线监测技术搭建一体化排水管网管理平台。整合管网设施、运维、监测等数据,打破信息孤岛,实现多部门资源共享,提升排水设施运维、规划决策及应急抢险能力,保障城市排水与水环境安全。
SDN控管监测系统-SDN控管监测系统
使用多种网络协议对多类网络设备进行监测与控制,并分析网络设备状态提供具备链路优化、告警提示、故障分析、系统性能风险等,使业务员能够及时清晰知道设备具体情况并进行相应的处理。
区块链+政务服务应用平台(0-1)
1、立项背景与目标:政务数据孤岛、跨部门协作信任与存证难,群众办事材料重复提交。 2、目标用区块链构建可信政务协同与数据存证应用,提升办事效率与公信力。 3、核心功能模块:①政务数据上链存证与溯源;②跨部门可信共享;③业务办理流程上链审计;④面向公众的服务入口。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服