Python 网页数据采集与导出工具

扬水工程项目 为全面提升灌区管理效率与智能化水平，本人主导并实施了覆盖全灌区的信息化管理系统建设项目。本项目构建了一个集数据采集、远程监控、智能调度与决策分析于一体的综合管理平台，实现了对扬水站、负荷区、水库、干渠渠道及分散水井房的统一数字化管控。 一、主要工作内容与成果 1.全灌区骨干网络建设 沿关键设施（扬水站、负荷区、水库、干渠等）部署光纤网络，组建高速稳定的工业级局域网，为数据实时传输与视频监控提供基础保障。 2.分层级数据采集与通信体系构建 中心层：在扬水站建设标准物理机房与数据中心，搭建“数据调度智慧中心”，配备LED大屏实现全局可视化监控。 中间层：对负荷区、水库、干渠等无人驻守站点，采用PLC+RTU组合控制模式，实现对泵阀的远程控制与运行数据采集，并保留现地控制功能。 终端层：针对分布广泛的水井房，安装集成RTU的智能控制箱，通过物联网+4G无线网络采集管道压力、阀门状态、出水流量等数据，并支持现地最高优先级控制。 3.全链路远程监控与控制功能实现 实现对扬水站水泵、负荷区调节阀、水库进水/泄水闸、干渠节制闸、水井房取水阀等设备的远程启停控制。 集成管道电磁流量计、明渠雷达流量计等多种传感设备，实时采集水位、流量、设备状态等数据，并统一回传至数据中心。 4.智能水务管理与决策支持系统开发 基于用水量与水价策略，系统自动生成用水统计报表与费用结算报表，支持年度用水分析与经济核算。 通过智慧中心大屏，实时展示灌区运行全景，辅助管理人员进行调度决策。 二、核心能力体现 1.综合方案设计与整合能力 融合光纤有线网络、4G无线通信、工业自动化控制（PLC/RTU）、物联网传感等技术，构建了适应复杂环境的灌区信息化架构。 2.工业控制系统与IT系统集成能力 实现了从现场控制箱、RTU、PLC到数据中心服务器与可视化平台的无缝数据对接与指令下达，打通了操作层与管理层的信息链路。 3.远程监控与智能调度能力 支持对分散设施进行集中监控与控制，大幅减少人工巡检需求，提升应急响应速度与水资源调配效率。 4.数据分析与业务支撑能力 通过定制化报表系统，将实时数据转化为管理洞察，直接支持水费计收与运营决策，凸显信息化管理的经济效益。 三、项目价值总结 本项目通过构建“网络全覆盖、数据全采集、设备可遥控、业务可分析”的智慧灌区管理体系，实现了： 1.管理效率提升：减少人工依赖，实现远程精准控制。 2.资源配置优化：基于实时数据动态调控水量，促进节水增效。 3.运营决策科学化：通过数据报表支撑水价政策执行与长期规划。 4.安全运行保障：视频监控与设备状态监测有效预防故障与风险。

负责海康，大华，宇视等厂家智能终端的sdk集成，使用rtsp协议+zlm+webrtc实现实时视频和回放，数据库维护，数据迁移，MySQL读写分离，MongoDB分片集群搭建，智能化巡视逻辑编写，前端页面逻辑编写，对接第三方api，第三方数据集成，ipc远程控制，集成第三方sdk，实现ipc的远程控制，支持云台控制，焦距，光圈等控制，手势控制，sdk抓图，支持守望配置，ipc邮箱配置，配置文件的导入导出，修改视频的编码格式。结合zlm实时视频，使用rtsp协议转webrtc协议进行播放，延时低200ms内，操作无感延时。提供api接口未第三方继承。

1.参与新能源电池按钮按压检测平台视觉模块开发 实现工人操作的实时监督，记录工作时间，流程是否符合标准ng或者ok 实现类sop行为检测的功能 2.rk3588工控盒子算法部署 实现ai视觉算法的端侧部署，高效推理

BYD-MES系统上位机是面向比亚迪生产车间的制造执行系统客户端，旨在打通现场设备层与管理层的信息孤岛，实现生产过程的数字化、透明化管控。系统涵盖用户认证、条码验证、生产数据管理、PLC通信、多语言界面及标签打印等核心业务模块，满足汽车制造、电子装配等产线的实时监控与质量追溯需求。 用户认证与权限管理：系统支持在线/离线两种工作模式，适应复杂工业网络环境。登录方式包括密码输入与刷卡识别，用户可根据岗位选择不同凭证。权限体系划分为DEV（开发）、管理员、操作员三级，通过功能按钮的动态启用/禁用实现对生产参数修改、工单下发、报表导出等操作的分级控制。所有登录记录均写入日志，便于审计追溯。 条码验证系统：作为质量防错的关键环节，系统可依据用户自定义规则（如长度、字符类型、校验位、正则表达式）对产品条码进行实时验证。验证类型包括：条码格式规范性、同一工单内的重复性、与MES订单数据的一致性。验证结果通过PLC特定点位（例如D1000触发扫描、D1001-D1005接收条码、D1006返回验证结果、D1007返回错误代码）与产线设备联动，不合格品自动触发报警或剔除动作。提示信息支持简体中文、英文、泰语三种语言，适配比亚迪海外工厂。 生产数据管理：系统实时采集各工位的产量、良品数、返工数，动态计算生产效率、合格率、直通率等KPI指标，并以图表形式展示于车间大屏。配方管理模块允许工艺员按产品型号维护多版本工艺参数（如温度、速度、扭矩等），生产时一键下发至PLC。工单管理涵盖工单创建、发布、生产进度跟踪、完工统计全流程，支持与ERP或MES中央服务器同步。 PLC通信集成：基于HslCommunication库，支持三菱、西门子、欧姆龙等多种PLC协议。系统建立独立通信线程，周期性读取设备状态、故障代码、生产计数，同时接收MES下发的指令（如工单切换、参数调整）。通信链路具备断线重连与心跳检测机制，保障7×24小时稳定运行。 多语言与打印：运行时动态切换界面语言，无需重启应用程序。标签打印集成Seagull BarTender，支持多种模板（产品标签、箱标、托盘标），通过变量替换实现动态数据填充，满足不同产品的标识需求。

围绕生产全生命周期，打造模块化MES核心功能，覆盖全流程，核心如下： 1. 生产计划与调度：接收ERP工单，分解工序级任务，支持动态排产、插单与跟踪，优化生产顺序，缩短周期。 2. 数据采集与监控：通过IoT、OPC UA等采集设备与工艺数据，支持扫码录入，电子看板实时展示，异常预警。 3. 质量管理：设置各环节检验标准，支持多种检验模式，记录质检数据，不合格品闭环管理，确保可追溯。 4. 设备管理：建立设备台账，监控运行状态、制定维护计划，降低故障率、提升稼动率。 5. 全链路追溯：打通原料到成品全环节，建立正反追溯链，满足合规需求，快速定位质量问题。 6. 系统集成：提供标准API，对接ERP、WMS等系统，实现数据双向同步，消除信息孤岛。 7. 报表分析：生成多维度报表，支持数据钻取，为管理层提供决策支撑。