程序聚合 软件案例 computer-use-computer-use

computer-use-computer-use

2026-11-07 15:08:57
行业:人工智能
载体:插件
技术:Python

业务和功能介绍

这是一个让 AI 通过“看屏幕、操作鼠标键盘”来完成桌面任务的自动化工具,面向 AI Agent 开发者、RPA/测试工程师和希望自动化重复操作的用户。它不是某个行业的业务系统,而是可集成到其他 Agent 或应用中的电脑操作能力。
主要功能:
自然语言执行任务: 用户描述目标,AI 观察当前屏幕并逐步操作。
桌面操作: 截屏、点击、输入文字、按快捷键、滚动和拖拽,支持多显示器场景。
多模型接入: 可使用 OpenAI、Anthropic 或本地 Ollama 模型;适配器负责统一模型接口。
操作验证与纠错: 执行动作后重新观察屏幕;结合等待、视觉验证和重试机制处理失败。
安全控制: 支持安全模式、操作校验和高风险操作确认等设计。
录制与回放: 记录操作序列,并可通过 CLI 回放。
多种集成入口: 可作为 Python 库使用,也提供命令行、REST/WebSocket 服务和 Claude Desktop MCP 接口。

项目实现

这是一个用 Python 实现的桌面 GUI 自动化 Agent:模型观察屏幕并生成操作,程序负责执行鼠标、键盘动作,再根据新截图验证结果。它提供 CLI、Python SDK、REST/WebSocket API 和 Claude Desktop MCP 等使用入口。

技术栈
语言与运行时: Python 3.11+,异步编程(async/await)
插件与数据: pluggy 管理插件钩子,pydantic 校验配置和动作类型
屏幕与输入: mss、Pillow 截屏与图像处理;pyautogui、pynput 模拟输入
AI 后端: OpenAI、Anthropic、Ollama,通过适配器统一接入
服务接口: FastAPI、Uvicorn、WebSocket;MCP SDK 提供 Claude Desktop 接入。
架构与设计思路:
核心采用分层、插件化设计:应用入口调用核心引擎,核心通过统一的插件接口使用屏幕、输入、AI 和安全能力,便于替换或扩展模块。主要执行流程是 观察 → 推理 → 安全校验 → 执行 → 验证 → 必要时纠错;EnhancedActionLoop 串联 SmartWait、VisualVerifier 和 SelfCorrectionEngine。
需要留意:CLI/API 的主要路径使用核心引擎、插件管理器和模型适配器;src/mcp_server.py 则实现了相对独立的 MCP 执行循环,直接通过 OpenAI 兼容接口调用模型并操作桌面。

示例图片视频


Little_monster
15天前活跃
方向: 后端-Python、安全/逆向-安全/逆向、
交付率:100.00%
相似推荐
科创e家一站式科创融合服务平台
把"企业的技术难题"和"高校院所的科技成果"放到同一个池子里做撮合,中间用政策和活动做助推,本质是一个产学研对接撮合平台(B端/政企端,不是C端消费产品)。 四类参与对象 省属企业:既是需求方,也是成果的应用方 高校、科研院所(含安徽高等研究院):作为成果与技术供给方 政府、国资监管部门:制定政策、统筹工作并考核 平台运营方:维护资源库并组织对接活动
AI 验证平台 HTTP 服务框架研发
面向企业内部 AI 验证板的研发与自动化测试场景,原有测试入口分散、接口不统一。设计统一 HTTP 服务框架,为设备状态查询、测试任务管理、模型推理调用与结果查询提供标准化接口,支撑 Python 自动化脚本与底层推理服务交互,框架采用 Reactor 事件驱动模型,结合 epoll I/O 多路复用、线程池、动态路由及中间件机制,实现高并发网络请求处理与业务逻辑解耦,同时通过 OpenSSL、连接管理和缓存优化提升系统安全性、稳定性及可扩展性。
南京辰茂新材料科技有限公司官网
南京辰茂新材料科技有限公司成立于2016年07月26日,注册地位于南京市高淳经济开发区双高路86-13号,法定代表人为魏媛。经营范围包括一般项目:高性能纤维及复合材料制造;高性能纤维及复合材料销售;玻璃纤维增强塑料制品制造;玻璃纤维增强塑料制品销售;新材料技术研发;技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;机械设备研发;机械设备销售;第一类医疗器械销售;智能无人飞行器销售;智能无人飞行器制造;金属链条及其他金属制品制造;金属结构制造;机械零件、零部件加工;模具制造;金属制品销售;塑料制品销售;合成材料销售;特种劳动防护用品生产;特种劳动防护用品销售;服装制造;服装辅料制造;服装辅料销售;纺织、服装及家庭用品批发;合成纤维制造;合成纤维销售;软件销售;计算机软硬件及外围设备制造;计算机软硬件及辅助设备批发(除依法须经批准的项目外,凭营业执照依法自主开展经营活动)。
智运后台管理平台
1. 以设备监控、运维及安全功能并以工作流为载体,处理各场景内的工单信息,数据的可视化,将拓扑图,流程图,机房设备图,大屏等数据展示 2. 基础模块为本系统基本运行的功能块,同时也为其他主功能提供数据支撑。此主功能块为分账户管理、项目管理、应用管理、资产管理、资源管理、系统管理6个子功能块。在涉及有工单流程都会使用短信作为提醒机制 3. 运维管理分为基础运管及高级运管,其中基础运管主要包含监控对象、告警日志、自定义监控、告警阀值、拓扑图功能点,高级运管包含了业务树、运维任务、计划任务功能点。其中告警日志,运维任务,计划任务会使用自定义工作流。其中监控对象所关联的监控模板,告警阀值的默认值都由云端下发。 4. 安服务模块主要包括基线核查、安全漏扫、安全整改。根据国家标准对基线库的检查项分为等保二级及等保三级,同时检测类型、基线库、基线模板都由云端进行下发,场景内在基线核查时根据需求下载对应的等保等级模板。在涉及有工单流程都会使用短信作为提醒机制。 5. 工单模块是将本系统内所有的工单处理从各自模块进行抽离,做统一的工单处理入口,便于工单处理集中化不在散落在各自模块,造成不必要的理解歧义。此模块集成了基础模块中的应用系统工单、IP地址申请,运管模块中的设备对象告警工单、运维工单、计划工单,安服模块的安全整改工单。所有参与流程节点处理人员根据各自的任务工单在此模块进行流程处理。 6. 大屏模块主要有可视化大屏。可视化大屏指场景内自有运行大屏,大屏的数据都是有接口产生,而这些接口统一由云端进行管理,场景不管理。 7. 调度中心分调度配置、调度任务、调度大屏。调度中心指省市县工单、安全等数据进行联动展示在数据调度大屏上,调度大屏的数据之间是进行上下级相互引用。 8. 统计模块包括自动巡检、日志审计、统计报表。其中自动巡检的模板及统计报表的数据源及数据集主要面向管理员与开发人员。
企业私有 RAG 文档问答系统
- 支持 PDF、Word、Excel 等多格式文档上传、切片向量化入库;提供向量库管理、知识库权限分组、对话问答、引用溯源、问答日志统计功能;支持对接企业微信 / 钉钉,内部员工可基于自有资料提问,解决内部资料检索难、新人培训资料查找慢的痛点,同时支持问答结果导出。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服