这是一个让 AI 通过“看屏幕、操作鼠标键盘”来完成桌面任务的自动化工具,面向 AI Agent 开发者、RPA/测试工程师和希望自动化重复操作的用户。它不是某个行业的业务系统,而是可集成到其他 Agent 或应用中的电脑操作能力。
主要功能:
自然语言执行任务: 用户描述目标,AI 观察当前屏幕并逐步操作。
桌面操作: 截屏、点击、输入文字、按快捷键、滚动和拖拽,支持多显示器场景。
多模型接入: 可使用 OpenAI、Anthropic 或本地 Ollama 模型;适配器负责统一模型接口。
操作验证与纠错: 执行动作后重新观察屏幕;结合等待、视觉验证和重试机制处理失败。
安全控制: 支持安全模式、操作校验和高风险操作确认等设计。
录制与回放: 记录操作序列,并可通过 CLI 回放。
多种集成入口: 可作为 Python 库使用,也提供命令行、REST/WebSocket 服务和 Claude Desktop MCP 接口。
这是一个用 Python 实现的桌面 GUI 自动化 Agent:模型观察屏幕并生成操作,程序负责执行鼠标、键盘动作,再根据新截图验证结果。它提供 CLI、Python SDK、REST/WebSocket API 和 Claude Desktop MCP 等使用入口。
技术栈
语言与运行时: Python 3.11+,异步编程(async/await)
插件与数据: pluggy 管理插件钩子,pydantic 校验配置和动作类型
屏幕与输入: mss、Pillow 截屏与图像处理;pyautogui、pynput 模拟输入
AI 后端: OpenAI、Anthropic、Ollama,通过适配器统一接入
服务接口: FastAPI、Uvicorn、WebSocket;MCP SDK 提供 Claude Desktop 接入。
架构与设计思路:
核心采用分层、插件化设计:应用入口调用核心引擎,核心通过统一的插件接口使用屏幕、输入、AI 和安全能力,便于替换或扩展模块。主要执行流程是 观察 → 推理 → 安全校验 → 执行 → 验证 → 必要时纠错;EnhancedActionLoop 串联 SmartWait、VisualVerifier 和 SelfCorrectionEngine。
需要留意:CLI/API 的主要路径使用核心引擎、插件管理器和模型适配器;src/mcp_server.py 则实现了相对独立的 MCP 执行循环,直接通过 OpenAI 兼容接口调用模型并操作桌面。