工业互联网 爬虫/脚本 软件定制 案例

1. 利用 request 请求获取政府部门多个栏目信息 2. 通过 xpath、bs4 等模块解析 html 数据 3. 通过 mysql 存储过程存储数据 4. 利用 DrissionPage、Playwright 等自动化工具 抓取数据 5. 通过数据接口抓取并存储企某查网站数据 6. 将获取的数据进行数据清洗 7. 同时负责一些数据后台网页端的功能测试项目

1、Python 办公自动化，Excel 批量处理与数据统计 2、专业 Excel 数据清洗、考勤成绩批量汇总 3、Python 定制脚本，高效处理办公文件数据 4、Excel 自动化统计、数据清洗、批量文件处理 5、办公重复任务自动化，Excel 数据处理 针对单文件 Excel 办公数据处理，包含数据清洗、格式修正、简单汇总统计、剔除异常无效值，满足日常行政、财务、学生基础数据整理需求，交付成品文件，售后免费协助调试，高效解决简单办公数据问题。

针对企业级异构数据处理中存在的“逻辑黑盒”与“高错误率”痛点，开发了这套基于 LCP 协议的自动化清洗系统。 系统核心功能涵盖： 1. 多源异构数据坍缩：实现 Excel、CSV、JSON 等多种格式数据的极速归一化。 2. 逻辑自洽性校验 (LCP)：通过建立公理化逻辑规则，自动识别并拦截 100% 的逻辑冲突数据（如财务流水不平、时间线重叠等）。 3. 自动化报告生成：清洗过程全程透明，一键导出包含清洗逻辑、异常拦截记录及标准化结果的完整包。

针对直拉单晶硅工艺中硅锭直径难以稳定控制，且该工艺控制需求存在工艺参数繁多、传热传质的物理过程复杂等特点，传统的控制方法很难达到令人满意的效果。 对此需求搭建了神经网络模型，用fab厂提供的工艺参数与传感器采集数据作为数据集，搭建神经网络预测在某工艺参数与实时传感参数下，会长出的晶体直径为多少。

设计并实现基于Scrapy框架的分布式爬虫集群，完成新能源汽车电池领域的数据采集（涵盖专利文献、供应商名录、产品规格参数），开发接口，并进行自动化数据采集和清洗，节省人工时间，制定数据采集手册。

多数据源甲烷检测动态分析系统，是通过整合卫星遥感（宏观覆盖）、航空平台（中尺度精细探测）、地面传感器（定点实时监测）构建 “空天地” 三层监测网络，先对多维度数据进行实时接入、清洗与格式统一，再依托智能算法实现甲烷泄漏精准识别（定位坐标与强度）、动态追踪（浓度变化与扩散趋势）及风险预警（结合环境与设施参数评估危害），最终以可视化界面和预警推送输出结果的复杂技术体系；其核心价值在于打破单一监测局限，既可为企业提供 “早发现、早处置” 的运维支持，助力减少气体损失与安全环保风险，也能为监管部门提供精准监管依据，同时直接服务于甲烷减排与碳中和目标，实现从 “被动发现” 到 “主动预警” 的升级。

自动刷网课 页面加载完成即开始播放当前章节视频，并自动静音，避免打扰。 自动处理网课检测弹窗 每 3 秒扫描一次 DOM，一旦检测到“继续学习 / 认真度检测 / 弹题”等弹窗，立即模拟点击关闭或自动答题，确保进度条持续前进。 自动下一章 当视频播放完毕或进度达到 100%，脚本会检查课程列表： • 若当前小节已学完，自动点击“下一节”按钮； • 若已到本章最后一节，自动返回上级目录并进入下一章，实现真正的“无人值守”。 倍速视频 脚本会在控制台提示并自动到允许的最大速度。 返回进度 脚本每 5分钟把「当前章节名称 + 已看时长 / 总时长 + 完成百分比」通过 console.log 打印，

1,整体来说一个模块调用mysql的api，得到当前数据库的权限 2,另一个模块来控制文本，从文本文件中截取文本，然后调用第一个模块来插入，修改数据库 3,不仅可以excel，还可以csv等文本。 4,其实他不仅可以利用musql，只需要小小改动导入到别的数据库依旧可以

为了优化系统补丁安装的效率：编写自动化脚本实现系统补丁的自动化上传与安装，使用多进程同时操作多个环境，提高的执行的效率，将花费的时间缩短为原来的20%，并且大幅度节省了操作人员的精力。