程序聚合 软件案例 Windows系统应用UI自动化-UI自动化工具

Windows系统应用UI自动化-UI自动化工具

2026-04-15 21:10:16
行业:企业内部管理、零售/新消费
载体:Windows应用
技术:Python

业务和功能介绍

核心功能
- 任务管理 :通过配置文件定义任务组和任务参数,支持多任务并行执行
- 任务调度 :智能调度任务执行,监控任务状态,处理超时任务
- 自动化UI操作 :通过图像识别技术实现Windows应用程序的自动化操作
- 进程管理 :自动启动和终止应用程序进程
- 配置管理 :通过JSON配置文件管理任务参数和系统设置
整体架构
配置层
- 负责加载和管理配置文件
- 提供配置验证和访问接口
- 支持打包和未打包状态的配置文件加载
任务管理层
- 任务初始化和管理
- 任务调度和监控
- 异常任务修复
控制层
- 控制任务执行流程
- 协调各页面操作
- 处理异常情况
页面操作层
- 封装各页面的 UI 操作
- 提供页面元素定位和操作方法
- 通过图的数据结构及最短路径算法,实现页面间的导航
工具层 :
- 系统操作工具
- 文件操作工具
- Windows 操作工具
- 公共方法

项目实现

## 核心模块
### 任务管理模块
- TaskManager :任务管理器,负责初始化任务处理器、添加任务、等待任务完成等。
- TaskPool :任务池,采用观察者模式,管理任务的添加、获取和通知。
- TaskHandler :任务处理器,作为观察者,负责执行具体的任务。
- TaskExec :任务执行抽象接口,定义了任务执行的基本方法。
- TaskExecutor :任务执行器,实现了具体的任务执行逻辑。
### 页面操作模块(PO设计模式)
- BasePage :页面基类,定义了页面的基本属性和方法。
- **Page :封装了各页的各种操作。
### 工具模块
- WinAction :窗口操作工具,提供了元素查找、鼠标点击等功能。
- PubMethod :公共方法,提供了页面加载检查等功能。
- SysUtil :系统工具,提供了进程管理等功能。
## 核心流程
### 项目启动流程
- 从 main.py 开始,初始化日志配置。
- 调用 PubMethod.init_direct_graph() 初始化有向图。
- 创建 TaskManager 实例并调用 task_exec() 方法。
### 任务管理流程
- TaskManager.task_exec() 方法首先杀掉旧进程。
- 初始化任务处理器,根据配置创建指定数量的 TaskHandler 实例。
- 添加任务到任务池。
- 等待所有任务执行完成。
### 任务执行流程
- TaskPool.add_task() 方法将任务添加到任务池并通知所有观察者。
- TaskHandler.update() 方法接收到任务后,启动线程执行任务。
- TaskHandler._execute_task() 方法根据配置的执行时间循环执行任务。
- TaskExecutor.exec_control() 方法执行具体的任务逻辑,包括启动程序、执行操作、关闭程序等。
### 页面操作流程
- TaskExecutor.start_program() 方法启动程序并执行一系列页面操作。
- 通过页面类的方法操作页面元素。
- 使用 WinAction 工具类查找元素并执行鼠标点击等操作。
- 使用 PubMethod 工具类检查页面加载是否成功。
## 设计模式
项目中使用了多种设计模式,包括:
- 观察者模式
- 单例模式
- 抽象工厂模式
# 数据结构算法
-‘图’数据结构来表达页面之间的关系
- 图的最短路径算法实现页面跳转

项目地址:https://gitee.com/robotzheng/w-tools-standard.git

示例图片视频


砖匠
30天前活跃
方向: 人工智能-AI应用开发、后端-Node.js、
交付率:100.00%
相似推荐
智能多端协同平台-yinglong智能系统
立项背景和目标 本项目旨在构建一个集智能对话、自动化信息处理、终端远程控制于一体的业务中台。解决企业日常运维、信息采集、多系统协同中的重复性劳动问题,通过AI技术实现部分环节的无人值守。 2、核心功能模块 AI对话与推理模块:基于大语言模型的智能问答与决策支持,可辅助业务分析。 浏览器自动化模块:模拟用户操作网页,自动完成数据抓取、表单提交等任务。 情报API服务:对外提供结构化数据接口,支持第三方系统集成。 终端远程管理模块:通过WebSocket实现远程服务器命令执行与日志查看。 主控调度中心:统一管理各模块的任务队列、健康检查和异常告警。 3、业务流程 用户通过前端界面(或API调用)提交任务请求 → 主控中心解析任务类型 → 分发给对应的AI/自动化模块执行 → 结果存入Redis缓存并同步MySQL持久化 → 最终返回给用户。整个过程支持异步和同步两种模式。
包装袋生产日期检测
一、立项背景和目标 在现代工业化高速包装产线上,喷码漏印/错印/重印以及包装破损、封口不良等缺陷严重影响出厂合格率,传统人工抽检方式效率低、易漏检且无法做到全检。本项目面向高速自动化流水线,构建了一套“工业级 OCR 生产日期识别与表面缺陷在线智能质检系统”,实现包装表面特征毫秒级全检,并与产线 PLC 控制系统无缝联动,实现残次品 100% 自动定位与精准剔除。 二、软件功能与核心功能模块 1. 工业相机触发与高速图像采集模块:支持光电传感器外部硬件触发(Hard Trigger),实现微秒级曝光同步抓拍高速运动工件。 2. 喷码字符定位与 OCR 文本解析引擎:自适应定位生产日期、批号、保质期等变动喷码区域,执行多角度倾斜矫正、字符分割与高精度内容识别,并与生产工单标准文本实时核对校验。 3. 包装表面与封口缺陷检测模块:结合形态学与深度学习分割算法,实时识别包装漏液、褶皱、划痕、压边残缺及喷码模糊等外观缺陷。 4. PLC 通信与气动剔除协同模块:集成工业总线/串口通信协议,将检测判废结果与编码器脉冲位置同步传递给下位机 PLC,驱动气动电磁阀/机械推杆完成剔除动作。 三、业务流程与功能路径 工件流经检测工位 -> 光电信号触发工业相机抓拍高清图像 -> 图像处理流水线执行字符 OCR 结构化比对与表面缺陷检测 -> 综合判定工件良品/不良品等级 -> 判定为 NG 时通过工业通信协议向 PLC 发送剔除信号与编码器追踪位移 -> 机械剔除机构在指定位置将废品吹出/推入废品箱 -> 实时记录检测报表与瑕疵原图归档。
工作状态监测
一、立项背景和目标 在数字化工位管理、智慧办公与特种作业安防场景中,传统考勤系统仅能记录出入打卡,无法实时感知员工在岗状态及异常作业行为。本项目基于瑞芯微高性能边缘计算平台 RK3588,构建一套边缘侧低功耗、高实时性的“人脸识别与工作状态智能监测系统”,实现无感身份核验、在离岗检测及专注度/违规作业状态的边缘端一体化实时分析。 二、软件功能与核心功能模块 1. 高性能视频流采集与预处理模块:支持多路 RTSP/MIPI-CSI 高清工业摄像头视频流接入,利用硬件编解码单元(MPP)完成硬解与图像色彩空间转换(RGA)。 2. 边缘端人脸识别与活体检测模块:基于深度学习模型实现人脸快速检测、关键点对齐、RGB+红外双目静默活体防伪及本地特征库千万级特征向量秒级比对。 3. 工作状态与行为分析引擎:结合人体姿态估计与工位 ROI 区域检测,实时分析在岗/离岗时长、低头玩手机、脱岗疲劳打瞌睡及异常离席等工位状态。 4. 告警联动与边缘数据上报:支持状态异常事件触发抓拍、本地低延时告警,并通过 MQTT/HTTP 将脱敏状态数据结构化上报至企业中台。 三、业务流程与功能路径 摄像头实时输入视频流 -> RK3588 硬件解码与 RGA 图像裁剪缩放 -> NPU 驱动执行人脸识别算法完成身份绑定 -> 并行推理工位人体姿态与行为检测模型 -> 业务逻辑状态机聚合判定工位状态 -> 触发本地声光/日志告警并异步上报管控后台。
AI量体裁衣(日本公司外包项目)
一、立项背景和目标 传统西装高级定制高度依赖人工线下精准量体,存在服务门槛高、流程繁琐且难以实现规模化线上服务的问题。本项目旨在构建一套基于图像的“AI智能量体裁衣与穿搭顾问系统”,用户仅需上传全身照片,即可全自动解算西装定制所需的关键人体围度与骨骼几何数据,并依托智能体生成定制化穿搭与版型建议。 二、软件功能与核心功能模块 1. 图像采集与预处理模块:支持用户正面/侧面全身图像输入与图像质量自动化校验。 2. AI视觉量体计算引擎:集成人体关键点检测与三维人体参数化模型重构,精准拟合躯干网格并解算出肩宽、胸围、腰围、臀围、袖长、裤长等西装核心剪裁指标。 3. Coze AI穿搭咨询与决策工作流:将解算的量体数据、身形比例特征通过API传递给智能体,智能输出版型选择(修身/标准/宽松)、面料色彩及场合穿搭策略。 4. 服务端API与工作流协作:提供高并发服务端接口,实现图像上传、算法解算、结果回传与穿衣报告生成的全链路闭环。 三、业务流程与功能路径 用户上传人体图像 -> 系统调用人体检测与3D Mesh重构管线计算三维点云与骨骼关键点 -> 计算西装定制各项围度与长度参数 -> 结构化数据接入Coze智能体API工作流 -> 生成包含“精准量体数据 + 智能西装穿搭建议”的综合报告。
改进ProGAN的小样本纹理生成系统
1. 立项背景和目标: 针对传统ProGAN在生成高分辨率纹理时存在的模式崩塌、细节模糊及训练不稳定性问题,本项目旨在构建一套高保真纹理生成系统。目标是通过算法优化,实现4K级无缝纹理的自动化生成,解决游戏与影视制作中美术资产生产效率低、重复度高的问题,将单张高质量纹理的生产时间从数小时缩短至分钟级,并显著提升生成结果的多样性与真实感。 2. 软件功能、核心功能模块的介绍: 系统包含三大核心模块: 改进型生成对抗网络核心:引入自适应实例归一化与谱归一化技术,优化ProGAN的渐进式增长策略,增强高频细节表现力; 纹理后处理与优化模块:集成超分辨率重建与色彩校正算法,自动修复生成瑕疵,支持PBR材质贴图(法线、粗糙度等)的一键导出; 交互式评估看板:提供FID/IS指标实时监控与人工偏好反馈接口,支持用户通过文本或草图引导生成方向。 3. 业务流程、功能路径描述: 用户输入参数或参考图→系统初始化噪声向量→进入改进的ProGAN渐进式生成流程(从低分辨率逐步上采样至目标分辨率)→经过判别器多尺度校验→输出基础纹理→通过后处理模块增强细节→最终交付高清无缝纹理资产并自动归档。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服