程序聚合 软件案例 Windows系统应用UI自动化-UI自动化工具

Windows系统应用UI自动化-UI自动化工具

2026-04-15 21:10:16
行业:企业内部管理、零售/新消费
载体:Windows应用
技术:Python

业务和功能介绍

核心功能
- 任务管理 :通过配置文件定义任务组和任务参数,支持多任务并行执行
- 任务调度 :智能调度任务执行,监控任务状态,处理超时任务
- 自动化UI操作 :通过图像识别技术实现Windows应用程序的自动化操作
- 进程管理 :自动启动和终止应用程序进程
- 配置管理 :通过JSON配置文件管理任务参数和系统设置
整体架构
配置层
- 负责加载和管理配置文件
- 提供配置验证和访问接口
- 支持打包和未打包状态的配置文件加载
任务管理层
- 任务初始化和管理
- 任务调度和监控
- 异常任务修复
控制层
- 控制任务执行流程
- 协调各页面操作
- 处理异常情况
页面操作层
- 封装各页面的 UI 操作
- 提供页面元素定位和操作方法
- 通过图的数据结构及最短路径算法,实现页面间的导航
工具层 :
- 系统操作工具
- 文件操作工具
- Windows 操作工具
- 公共方法

项目实现

## 核心模块
### 任务管理模块
- TaskManager :任务管理器,负责初始化任务处理器、添加任务、等待任务完成等。
- TaskPool :任务池,采用观察者模式,管理任务的添加、获取和通知。
- TaskHandler :任务处理器,作为观察者,负责执行具体的任务。
- TaskExec :任务执行抽象接口,定义了任务执行的基本方法。
- TaskExecutor :任务执行器,实现了具体的任务执行逻辑。
### 页面操作模块(PO设计模式)
- BasePage :页面基类,定义了页面的基本属性和方法。
- **Page :封装了各页的各种操作。
### 工具模块
- WinAction :窗口操作工具,提供了元素查找、鼠标点击等功能。
- PubMethod :公共方法,提供了页面加载检查等功能。
- SysUtil :系统工具,提供了进程管理等功能。
## 核心流程
### 项目启动流程
- 从 main.py 开始,初始化日志配置。
- 调用 PubMethod.init_direct_graph() 初始化有向图。
- 创建 TaskManager 实例并调用 task_exec() 方法。
### 任务管理流程
- TaskManager.task_exec() 方法首先杀掉旧进程。
- 初始化任务处理器,根据配置创建指定数量的 TaskHandler 实例。
- 添加任务到任务池。
- 等待所有任务执行完成。
### 任务执行流程
- TaskPool.add_task() 方法将任务添加到任务池并通知所有观察者。
- TaskHandler.update() 方法接收到任务后,启动线程执行任务。
- TaskHandler._execute_task() 方法根据配置的执行时间循环执行任务。
- TaskExecutor.exec_control() 方法执行具体的任务逻辑,包括启动程序、执行操作、关闭程序等。
### 页面操作流程
- TaskExecutor.start_program() 方法启动程序并执行一系列页面操作。
- 通过页面类的方法操作页面元素。
- 使用 WinAction 工具类查找元素并执行鼠标点击等操作。
- 使用 PubMethod 工具类检查页面加载是否成功。
## 设计模式
项目中使用了多种设计模式,包括:
- 观察者模式
- 单例模式
- 抽象工厂模式
# 数据结构算法
-‘图’数据结构来表达页面之间的关系
- 图的最短路径算法实现页面跳转

项目地址:https://gitee.com/robotzheng/w-tools-standard.git

示例图片视频


砖匠
30天前活跃
方向: 人工智能-AI应用开发、后端-Node.js、
交付率:100.00%
相似推荐
情绪检测
本工具基于 Python 开发,通过人脸识别与情感分析算法,精准识别用户面部情绪状态,实现高效的情绪检测能力。该工具应用场景广泛:在心理咨询领域,可辅助咨询师洞察来访者的真实情绪变化,提升沟通与干预效果;在校园安防方面,可实时监测学生情绪波动,及时发现异常状态并预警,守护校园安全。系统采用轻量化架构,运行高效、部署灵活,便于集成到现有业务平台中,为心理健康关怀与安全防护提供智能化、数据化的有力支撑。
基于神经网络的游戏动画系统
MotionWeaver 是一套面向 Unreal Engine 游戏开发的 AI 驱动角色动作生成系统,旨在解决传统游戏动画制作成本较高、动画资产复用困难、复杂动作衔接不自然,以及角色运动与动画表现难以协调等问题。 项目以神经网络动作生成技术为核心,结合游戏引擎的角色运动系统,实现从动画数据采集、模型训练到动作推理与引擎集成的完整技术流程。 主要功能包括: 动画数据采集与处理: 支持从 Unreal Engine 动画资产中提取骨骼姿态、位置、旋转及时间序列信息,完成骨骼映射、数据清洗、质量审核与训练数据集构建。 AI 动作模型训练: 提供基于深度学习的动作表示学习、姿态预测与生成模型训练功能,支持模型检查点管理、训练指标记录及实验评估。 条件动作生成: 利用角色根运动轨迹、历史动作状态及参考姿态等条件,生成连续骨骼动作,研究不同运动条件下的动画生成效果。 复杂动作约束: 针对跑酷、跨越障碍等复杂场景,支持参考姿态引导及关键帧约束,改善动作准确性与空间匹配效果。 UE 动画集成与验证: 提供模型推理与 Unreal Engine 动画系统的集成和实验验证能力,支持生成动作的预览、重建、测试及效果分析。 模型评测与对比: 通过骨骼位置误差、运动连续性、关键帧约束误差等指标,对不同模型及优化方案进行定量分析。 项目主要面向游戏角色动画生成、AI 动画技术研究和游戏开发工具链建设,为智能角色运动与游戏动画自动化提供技术基础。
基于 n8n 的社区团购订单自动归集与对账系统 - 飞书多维表格
立项背景和目标: 社区团购商家通常同时运营多个小区的团购业务,订单分散在各处, 每天需要人工汇总到表格、再逐个小区生成对账单。三个小区的情况下, 人工处理约需 1.5-2 小时/天,且极易出现漏单、金额对不上。 目标是让这套流程全自动跑:订单自动归集 → 自动生成分小区对账单 → 异常自动告警,把每天 2 小时的人工压到 0。 软件功能、核心功能模块: 1. 定时触发模块:每天固定时间自动启动,无需人工干预 2. 多源数据读取:对接飞书多维表格开放 API,分页拉取三个小区的订单表 3. 数据清洗与合并:统一字段口径,合并去重,处理缺失值 4. 分类汇总:按小区维度聚合,计算应收、已付、差额 5. 异常检测:金额不一致、状态异常、重复订单自动标记 6. 结果写回:汇总结果写回多维表格,供商家和团长直接查看 7. 失败告警:任一步骤失败自动重试 3 次,仍失败则推送群告警 业务流程、功能路径: 每天 20:00 定时触发 → 读取运行参数 → 换取 tenant_access_token → 逐小区分页读取订单 → 展开为明细行 → 批量写入汇总表 → 生成分小区对账单 → 判断是否启用对账推送 → 异常则发群告警
多端AI问答系统(SSE流式输出)
立项背景:随着大语言模型的普及,传统企业与用户对智能对话的需求激增。旨在构建一个前后端完全解耦的 AI 问答系统,支持多端接入,提供流畅的流式对话体验。 核心功能:支持 SSE 全链路流式对话(包含start/content/reasoning/done/error五类事件);多会话管理(新建、切换、重命名、置顶、逻辑删除);Markdown 渲染、思考过程折叠展示、多模型切换、Token 用量统计与 API 调用日志,以及四维 IP 限流。 业务流程:前端发起对话请求 → 后端校验限流 → 组装历史消息并调用大模型 API → SSE 逐字返回前端实时渲染 → 消息落库并记录 Token 与耗时。
基于RAG的多租户AI客服SaaS-wali-ai
立项背景和目标: 小微企业客服人力有限、游戏规则分散、夜间无人值守, 重复咨询淹没客服; 通用大模型不了解业务规则, 会张冠李戴甚至编造规则和价格. wali-ai的目标是让运营者用自己的知识库, 7x24自动回答玩家问题, 答不上来就兜底或转人工, 以及记录,绝不编造. 软件功能与核心模块: 多租户SaaS控制面(注册即获默认租户与工作空间、两级角色权限、按套餐的对话条数/知识库数量/容量/席位/Token额度五维配额); 知识库管理(文件导入, 切片可视化编辑与检索测试); 自研RAG引擎(向量+关键词混合检索、RRF融合、Rerank重排、置信度评估); Agent编排(意图判断、会话上下文、人设提示词、闲聊/固定兜底双模式); 多渠道接入(游戏内Lua桥接、QQ群NapCat、网页悬浮球SDK、开放API); 会话管理与人工接管; 未回答问题沉淀反哺知识库; 运营统计与全量审计. 业务流程: 注册登录->创建游戏服与机器人->建知识库导入文档->自动切分并向量化索引->配置渠道->玩家在游戏内/QQ群/网页提问->统一网关验签、幂等、路由->Agent意图判断->RAG混合检索->大模型生成带来源引用的回答->写回会话、用量与审计->低置信度时兜底或转人工, 管理员在管理端查看会话、反馈、用量与配额.
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服