业务和功能介绍
云手机场景下，用户需要在不同 App 里完成订外卖、订机票、查信息等操作，流程割裂、学习成本高。项目目标是做一个 类“智谱牛牛”的多 Agent 系统，把手机里的每个 App 通过 GUI Agent 封装成可调用能力，用户只需要一句自然语言指令，系统自动完成整套操作。
项目实现
技术方案与技术栈：
1️⃣ 意图与实体识别
模型：Qwen2.5-14B-Instruction
方式：SFT 微调
数据：
来源于历史“通通智能助手”的真实用户对话
人工梳理意图体系（如订外卖、订机票、查天气等）
构造实体槽位（地点、时间、品类、航班信息等）
关键点：
将传统 NLU 拆成 “意图 → 子 Agent 路由”
输出结构化 JSON，直接供调度器使用
2️⃣ 多 Agent 架构
架构设计：
主管 Agent（Planner）：负责任务拆解、顺序规划
子 Agent：按意图划分（外卖、出行、信息查询、GUI Agent 等）
实现方式：
基于 Dify 工作流 做基础编排
自研轻量调度器，负责：
Agent 选择
参数透传
失败回退与重试
3️⃣ GUI Agent 实现
视觉输入：
云手机真实截图（不同分辨率、不同 App 状态）
文本输入：
预制操作模板 + 槽位占位
从用户对话中自动填槽
执行链路：
识别当前页面 → 决策下一步操作（点击 / 输入 / 滑动）
难点处理：
页面不确定性 → 引入多步确认
操作失败 → 回退到 Planner 重新规划
4️⃣ 关键技术栈总结
模型：Qwen2.5-14B
微调：SFT（LoRA）
框架：Dify + 自研调度
能力：Agent、GUI Agent、多模态、结构化输出
我承担的是 核心算法 + Agent 架构设计，主要包括四块：
意图与实体识别模型设计与训练
多 Agent 架构与调度逻辑设计
GUI Agent 的数据构建与推理链路
整体效果评估与验收指标设计
训练后的主要问题是 意图混淆、实体字段漂移、复杂任务识别和表达泛化问题，通过重构意图体系、增加困难样本、Schema 约束和 Planner 拆解任务 来解决，最终把 Agent 路由准确率稳定在约 95%
1️⃣ 意图与实体识别
模型：Qwen2.5-14B-Instruction
方式：SFT 微调
数据：
来源于历史“通通智能助手”的真实用户对话
人工梳理意图体系（如订外卖、订机票、查天气等）
构造实体槽位（地点、时间、品类、航班信息等）
关键点：
将传统 NLU 拆成 “意图 → 子 Agent 路由”
输出结构化 JSON，直接供调度器使用
2️⃣ 多 Agent 架构
架构设计：
主管 Agent（Planner）：负责任务拆解、顺序规划
子 Agent：按意图划分（外卖、出行、信息查询、GUI Agent 等）
实现方式：
基于 Dify 工作流 做基础编排
自研轻量调度器，负责：
Agent 选择
参数透传
失败回退与重试
3️⃣ GUI Agent 实现
视觉输入：
云手机真实截图（不同分辨率、不同 App 状态）
文本输入：
预制操作模板 + 槽位占位
从用户对话中自动填槽
执行链路：
识别当前页面 → 决策下一步操作（点击 / 输入 / 滑动）
难点处理：
页面不确定性 → 引入多步确认
操作失败 → 回退到 Planner 重新规划
4️⃣ 关键技术栈总结
模型：Qwen2.5-14B
微调：SFT（LoRA）
框架：Dify + 自研调度
能力：Agent、GUI Agent、多模态、结构化输出
我承担的是 核心算法 + Agent 架构设计，主要包括四块：
意图与实体识别模型设计与训练
多 Agent 架构与调度逻辑设计
GUI Agent 的数据构建与推理链路
整体效果评估与验收指标设计
训练后的主要问题是 意图混淆、实体字段漂移、复杂任务识别和表达泛化问题，通过重构意图体系、增加困难样本、Schema 约束和 Planner 拆解任务 来解决，最终把 Agent 路由准确率稳定在约 95%
示例图片视频
相似推荐
网络安全ctf与awd比赛平台-网络安全赛事中心
1.立项背景:高校网络安全专业与战队在组织校内外 CTF（Capture The Flag，夺旗赛）和 AWD（Attack WithDefense，攻防对抗赛）时，长期依赖开源平台或第三方在线靶场。现有方案普遍存在三类痛点：一是开源平台功能割裂，传统解题赛（Jeopardy）与攻防对抗赛需要两套系统分别部署，数据与选手账号无法打通；二是容器靶场编排能力弱，题目环境需人工搭建，动态Flag、按队伍隔离、过期回收等能力缺失或需要大量二次开发；三是缺少面向国内高校赛事的定制化能力，如队伍审核、报名审批、真实身份核验、邮箱验证码注册、作弊检测等。本项目立项目标即自研一套统一支持 CTF 与 AWD 双赛制、全流程线上化的网络安全竞赛平台。
2.建设目标。 （1）覆盖竞赛全生命周期：建赛、出题、报名审核、选手参赛、答题计分、容器下发、排行榜、作弊检测、Writeup评审、日志审计；（2）支持三种 CTF 题型（静态题、动态附件题、容器题）与完整的 AWD 攻防对抗机制（OpenVPN靶场接入、双网络隔离、自动 Check、分池计分、靶机重置）；（3）工程上做到高可用、可运维：容器/附件/轮次全自动调度与过期回收、多级日志与审计、滑动窗口限流、启动自愈清理脏数据。目前平台已完成主体功能开发并在真实比赛环境中投入使用。
Ai自动化办公-自动化
AI自动化融合大模型、视觉识别与流程引擎，突破传统固定规则限制，自主感知、判断、执行复杂业务，替代重复人力，实现全链路智能提效与流程闭环运转。
AI自动化依托人工智能技术搭建数字工作体，自主处理非标准化任务，打通多系统数据链路，降低人工成本，
基于麒麟操作系统的运维agent
1. 立项背景与目标
背景：传统运维工具（Zabbix、Nagios等）架构重、门槛高，难以覆盖边缘节点；故障排查依赖人工经验，效率低；变更操作缺乏AI辅助和细粒度审批审计。ops-agent将系统巡检、AI问诊、安全审批和可视化看板整合为统一单机程序，填补市场空白。
目标：交付v0.1.0版本，提供TUI/Daemon/Dashboard三种运行模式；以LLM实现自然语言驱动的智能运维；建立本地审查+LLM评估+人工审批三层安全机制；发行包一键部署，开箱即用。
2. 软件功能与核心模块
智能对话引擎：集成LLM，支持自然语言交互，内置ReAct和Plan-and-Execute双策略自动适配任务复杂度，自主调用系统工具，实现“对话即运维”。
安全管控中心：本地规则硬拦截+LLM辅助风险评估+人工风险队列审批三层防线，五级风险分级（只读到关键变更），全程审计可追溯。
自动化巡检与调度：后台守护进程支持Cron定时采集CPU/内存/磁盘/网络等指标，扩展至K8s/容器/Prometheus巡检，阈值告警推送钉钉/企微，告警归并为Incident故障事件。
用户交互层：TUI终端界面（ratatui，六Tab页，键盘导航）+ Web Dashboard（React，可视化看板）。
3. 核心业务流程
故障诊断修复流程：SSH登录→TUI对话页输入自然语言（如“nginx起不来”）→Agent经LLM意图分析，调用check_service/journalctl等诊断工具（安全审查保障只读）→流式呈现诊断结果→修复操作识别为高风险→进入风险队列待人工审批（a键批准/x键拒绝）→执行并反馈结果。
无人值守巡检与干预流程：Daemon systemd开机自启→按Cron定时执行巡检（指标每分钟，深度每30分钟）→数据写入SQLite→超阈值生成告警并推送钉钉/企微→运维人员通过Dashboard/TUI介入查看→查阅Incident时间线和处置计划→高风险操作仍经人工审批后执行。
4. 项目范围与约束
包含：v0.1.0全部功能开发（24个功能点）、测试、文档、发行包及安装脚本。
不包含：第三方监控系统迁移工具、SaaS云服务、移动端APP、高可用集群部署。
技术约束：Rust 2024 + tokio；前端React+TypeScript+Bun；SQLite。
环境约束：兼容麒麟/Linux（x86_64/aarch64），依赖systemd和Python 3.8+，可选kubectl/Docker。
智能交互大屏-智能交互大屏
本项目为自研首款 8K 智慧云屏配套客户端软件，采用高规格 8K 显示、一体式硬件整机架构及 X86 安卓 + Windows 双系统共享硬件方案。基于 WPF 技术栈从零打造大屏全套软件体系，覆盖白板书写、屏幕批注、系统设置、Launcher 桌面、侧边栏快捷工具、分屏交互、OTA 固件升级、设备集控、外设管控等 20 余个应用模块与核心功能组件，满足政企会议、智慧办公、工业数字孪生等场景下的高清交互、设备管控、系统运维需求，实现高分辨率触控终端的智能化、一体化软件体验。
半熟类社交平台
重逢的创建初衷是提供一个平台，为用户维护个人的半熟社交人际关系，辅助用户整合非日常交流好友资源，以此为用户提供可能需要的人际关系价值。项目的主要通过iOS和Android两个主流平台APP提供服务，后端通过ECS中PHP提供平台服务，并通过Python提供一定的数据分析服务。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服