程序聚合 软件案例 跨端自动化控制工具链(Windows 桌面 + Android)

跨端自动化控制工具链(Windows 桌面 + Android)

2026-09-13 19:53:03
行业:企业内部管理
载体:Windows应用
技术:Python

业务和功能介绍

大量重复的图形界面操作和数据搬运只能人工做:每天定时截屏留证、批量点开同一个软件点同一串按钮、把手机里的文件倒到电脑上、把设备日志抓下来排查。这些活不难但耗人,做久了还容易点错。

本项目实现让程序替人操作电脑:截屏 → 定位目标 → 点击 → 再截屏验证,形成闭环;同时通过 ADB 无线调试打通手机,实现远程截屏、界面层级导出、双向文件传输和日志抓取,真正跨端。
大量重复的图形界面操作和数据搬运只能人工做:每天定时截屏留证、批量点开同一个软件点同一串按钮、把手机里的文件倒到电脑上、把设备日志抓下来排查。这些活不难但耗人,做久了还容易点错。

本项目实现让程序替人操作电脑:截屏 → 定位目标 → 点击 → 再截屏验证,形成闭环;同时通过 ADB 无线调试打通手机,实现远程截屏、界面层级导出、双向文件传输和日志抓取,真正跨端。

项目实现

1. 截屏模块:ctypes 直调 GDI 的 StretchBlt + GetDIBits 完成抓屏与缩放;解决 64 位下句柄溢出(每个 API 显式声明 argtypes/restype);解决 GDI 不写 alpha 通道导致读图全白的问题(手动补 alpha);纯标准库手写 PNG 编码。
2. 鼠标键盘模块:SetCursorPos + mouse_event / keybd_event 实现点击、拖拽、组合键;确立"先激活目标窗口再操作"的约束,避免误操作到其他程序。
3. 控件定位模块:用 UI Automation 读原生应用的控件树,直接拿控件名与精确坐标并触发点击,免去像素级猜坐标。
4. 中文输入:绕开输入法限制,通过剪贴板完成中文文本注入。
5. 移动端模块:ADB 无线调试(WiFi 配对)连接安卓设备,实现远程截屏、界面层级导出、双向文件传输、日志抓取。
6. 权限边界:定位并记录安卓端模拟点击被 INJECT_EVENTS 权限拒绝的问题,改用"界面层级 + 应用内可点控件"的替代方案。

被追问时的答案:为什么不用现成图形库 —— 目标环境装不了第三方包;定位方案怎么选 —— 原生应用走 UI Automation(快且准),Electron/Chromium 类应用不暴露控件树,退化为截图定位。

示例图片视频


程聚宝开发人员
5天前活跃
方向: 爬虫/脚本-爬虫/脚本、
交付率:100.00%
相似推荐
某大型电器企业MES4.0系统-MES
面向大型离散制造企业一体化 MES4.0 平台,覆盖销售订单到成品入库全流程生产管理,实现生产过程数字化、工艺管控、品质追溯、设备监控,同时满足企业内部精益管理与外部审厂合规要求,系统服务车间多工位并发操作,业务数据量大,对接口响应、数据一致性、系统稳定性要求高。
通配符数据映射转换引擎-SmartApis
1. 通配符路径匹配 支持 * 多级通配路径(如 items.*.sku),自动批量提取、改写深层嵌套字段,无需逐字段写死代码。 2. 声明式 Mapping 配置 映射规则用配置描述,新增/调整字段只改配置、不动业务代码,对接新系统从改代码变为加规则。 3. 多格式数据互通 统一处理 JSON、XML、数组等异构结构,一键将外部响应转换为内部标准模型,屏蔽源头格式差异。 4. 条件映射与默认值 支持按条件分支映射、缺失字段自动补默认值,解决第三方数据不全、字段语义不一致的问题。 5. 嵌套结构深度处理 自动展开/重组任意层级嵌套对象与数组,适配复杂报文(如银行多渠道报文、设备多级测点)。 6. 规则版本化与零代码扩展 映射规则可版本管理、按需路由(如按合作方 ID 切换响应模板),新增渠道/合作方零代码接入。
ERP定制开发-致远OA与U9审批数据对接
项目背景:客户 OA 审批流程与 U9 ERP 数据不互通,审批完成后需人工在两边系统重复录入,效率低且易出错。 核心功能:开发 WebAPI 程序调用致远 OA Rest 接口,实现 OA 审批单据自动同步至 U9;包含字段映射、数据校验、日志记录、异常重试机制,确保数据准确落单。 业务流程:OA 审批通过→接口触发→字段转换与校验→写入 U9 对应单据→记录日志;失败自动重试并告警,保障数据一致性。
ERP定制开发-整车装配追溯体系
项目背景:制造业整车装配业务中,原有 ERP 系统无法满足车间装配、关键件追溯和整车授权管控的个性化需求,装配清单、追溯记录分散在 Excel 中,无法按整车维度统一查询。 核心功能:基于 U9Cloud 扩展开发车架号档案、产线关键件配置表、产线装配指示单、关键物料追溯卡、授权码日志等自定义单据;实现按 VIN 车架号录入整车信息、按车型模板生成单车配置、产线装配单自动带出零件清单、装配过程扫码校验记录、整车授权码发放与变更日志管理。 业务流程:车架号建档→车型配置生成单车 BOM→产线装配指示单下发→装配扫码校验→关键物料追溯卡生成→整车授权登记。同一 VIN 可跨单据联查整车配置、装配明细、追溯记录与授权历史。
某机构管路仿真项目
0.登录功能:仅本地做登录校验。 1.用户管理:用户的注册、用户密码修改、用户注销 2.数字化仿真:3D仿真以及仿真过程的回放(主要展示用户产品模型文件以及对接甲方算法) 3.管路装配序列 :对管路产品与障碍物进行算法分析,规划合理的管路堆放序列 4.公差分配调控:行位工差分配和队中调控(主要展示用户点云数据以及对接甲方算法) 5.日志展示:展示操作日志,以及算法日志。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服