程序聚合 软件案例 Windows系统应用UI自动化-UI自动化工具

Windows系统应用UI自动化-UI自动化工具

2026-04-15 21:10:16
行业:企业内部管理、零售/新消费
载体:Windows应用
技术:Python

业务和功能介绍

核心功能
- 任务管理 :通过配置文件定义任务组和任务参数,支持多任务并行执行
- 任务调度 :智能调度任务执行,监控任务状态,处理超时任务
- 自动化UI操作 :通过图像识别技术实现Windows应用程序的自动化操作
- 进程管理 :自动启动和终止应用程序进程
- 配置管理 :通过JSON配置文件管理任务参数和系统设置
整体架构
配置层
- 负责加载和管理配置文件
- 提供配置验证和访问接口
- 支持打包和未打包状态的配置文件加载
任务管理层
- 任务初始化和管理
- 任务调度和监控
- 异常任务修复
控制层
- 控制任务执行流程
- 协调各页面操作
- 处理异常情况
页面操作层
- 封装各页面的 UI 操作
- 提供页面元素定位和操作方法
- 通过图的数据结构及最短路径算法,实现页面间的导航
工具层 :
- 系统操作工具
- 文件操作工具
- Windows 操作工具
- 公共方法

项目实现

## 核心模块
### 任务管理模块
- TaskManager :任务管理器,负责初始化任务处理器、添加任务、等待任务完成等。
- TaskPool :任务池,采用观察者模式,管理任务的添加、获取和通知。
- TaskHandler :任务处理器,作为观察者,负责执行具体的任务。
- TaskExec :任务执行抽象接口,定义了任务执行的基本方法。
- TaskExecutor :任务执行器,实现了具体的任务执行逻辑。
### 页面操作模块(PO设计模式)
- BasePage :页面基类,定义了页面的基本属性和方法。
- **Page :封装了各页的各种操作。
### 工具模块
- WinAction :窗口操作工具,提供了元素查找、鼠标点击等功能。
- PubMethod :公共方法,提供了页面加载检查等功能。
- SysUtil :系统工具,提供了进程管理等功能。
## 核心流程
### 项目启动流程
- 从 main.py 开始,初始化日志配置。
- 调用 PubMethod.init_direct_graph() 初始化有向图。
- 创建 TaskManager 实例并调用 task_exec() 方法。
### 任务管理流程
- TaskManager.task_exec() 方法首先杀掉旧进程。
- 初始化任务处理器,根据配置创建指定数量的 TaskHandler 实例。
- 添加任务到任务池。
- 等待所有任务执行完成。
### 任务执行流程
- TaskPool.add_task() 方法将任务添加到任务池并通知所有观察者。
- TaskHandler.update() 方法接收到任务后,启动线程执行任务。
- TaskHandler._execute_task() 方法根据配置的执行时间循环执行任务。
- TaskExecutor.exec_control() 方法执行具体的任务逻辑,包括启动程序、执行操作、关闭程序等。
### 页面操作流程
- TaskExecutor.start_program() 方法启动程序并执行一系列页面操作。
- 通过页面类的方法操作页面元素。
- 使用 WinAction 工具类查找元素并执行鼠标点击等操作。
- 使用 PubMethod 工具类检查页面加载是否成功。
## 设计模式
项目中使用了多种设计模式,包括:
- 观察者模式
- 单例模式
- 抽象工厂模式
# 数据结构算法
-‘图’数据结构来表达页面之间的关系
- 图的最短路径算法实现页面跳转

项目地址:https://gitee.com/robotzheng/w-tools-standard.git

示例图片视频


砖匠
30天前活跃
方向: 人工智能-AI应用开发、后端-Node.js、
交付率:100.00%
相似推荐
基于GD32H759I的轻量级卷积循环网络边缘语音降噪系统-EdgeDenoise边缘语音降噪终端
面向会议记录、工业对讲、人机交互及嵌入式智能终端在风扇、空调、键盘敲击和室内混响等噪声环境下的语音采集需求,设计并实现一套基于GD32H759IMT6微控制器的边缘语音降噪系统。系统通过ES7210音频采集模块、SAI和DMA连续获取48 kHz多通道音频,在本地完成通道选择、音量统计、短时傅里叶变换、频带特征提取、神经网络推理、频谱掩蔽和语音重建,无需依赖云端服务器。 系统支持RAW原始音频、RNNoise对照降噪和自研CRN降噪三种工作模式,可通过触摸屏完成模式切换、输入通道选择、增益调整、开始或停止录音以及屏幕截图。LCD实时显示原始与降噪波形、音量、模型状态、录音时间、缓存状态和输出文件名;TF卡可保存原始WAV录音、CRN降噪音频及LCD截图,形成“音频采集—边缘推理—效果显示—文件保存”的完整闭环。
图片数据智能提取
本程序用于信息录入场景,可将截图内容整理为规范表格。先借助 OCR 识别提取截图内图文原始信息,再调用大模型 API,按预设规则完成数据筛选与结构化解析,属于专用数据格式提取脚本。支持自定义提取规则灵活适配不同业务需求,可按需调整输出模板,高效完成图片信息标准化导出,大幅减少人工录入整理工作量。
excel智能体
立项背景与目标 :日常办公中,表格合并、文档处理、数据看板生成等重复性工作耗时且门槛高。雪球旨在利用大语言模型的自然语言理解能力,让用户通过一句话即可完成复杂办公任务,实现"对话即操作"的智能办公体验。 软件功能与核心模块 :平台围绕四大模块构建——表格处理引擎(JOIN联查、批量填充、分组聚合、拆分合并)、文档处理引擎(Word改写/模板填充、PDF提取/拆分/合并、PPT生成)、BI看板生成器(11种ECharts图表,支持HTML/PNG/PDF/PPT导出)和PPT自适应渲染引擎(四级降级策略)。所有工具通过DeepSeek Agent统一调度。 业务流程与功能路径 :用户自然语言输入 → Agent解析意图并编排步骤 → 自动调用工具链执行 → SSE流式返回执行进度与结果 → 任务快照持久化存档。全程支持审计日志脱敏和中断恢复,确保数据安全与操作可追溯。
基于多智能体与知识图谱的复杂知识分析平台
1. 立项背景和目标 面向复杂知识问答、多步任务拆解和证据驱动分析场景,搭建统一的 AI Agent 平台。旨在解决传统问答系统在复杂任务中可分解性不足、证据链不可追溯、文档与图谱数据割裂、模型选型缺乏统一评测等痛点,降低知识密集型分析任务的人工操作成本。 2. 核心功能模块 多智能体协作: 采用 planner -> dispatcher -> summary 主链路,支持任务拆解、依赖编排和拓扑执行。 知识检索与定位: 集成文档多格式解析、片段级检索、页级定位及 Neo4j 知识图谱 Cypher 检索。 评测与选型底座: 支持对不同模型、提示词策略和子代理组合进行横向对比与流程稳定性观察。 前端工作台: 支持多会话聊天、模型参数配置、执行轨迹面板、知识图谱可视化及结果下载。 3. 业务流程与功能路径 用户上传多格式文档或输入复杂分析任务 -> 系统提取分析并构建图谱 -> 多智能体协作编排并调度任务(子代理执行文档精读和图谱检索) -> 聚合生成可追溯、可信的结构化报告或演示文稿 -> 通过 SSE 流式反馈、渲染任务轨迹并展示给前端。
豪视界-AI 图像处理平台
AI 图像处理平台("流行智能"后更名"豪视界") —— 一个面向电商卖家的 SaaS 化 AI图像处理工具站。核心业务逻辑:卖家上传商品图,平台调用多个 AI引擎完成换背景、生成模特图、扩图/高清/去水印等处理,按张扣积分,处理结果存云端图库。 支撑业务的系统能力 - 账户体系:邮箱/手机注册登录、JWT 鉴权、图形验证码、访客可浏览(登录才可下单) - 积分计费系统:注册赠送 100 积分、按任务类型差异化定价(可后台配置)、消费流水记录、积分套餐 - 异步任务系统:任务状态机(等待→处理中→完成/失败)、批量提交、全局任务列表、结果轮询 - 图库:处理结果云端存储(阿里云 OSS)、缩略图、任务详情回看 - 管理后台:用户管理(禁用/启用/改积分)、任务监控与重试、系统配置、积分规则/套餐配置、操作日志、仪表盘统计
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服