程序聚合 软件案例 云手机智能体对话助手

云手机智能体对话助手

2026-04-18 10:04:07
行业:人工智能
载体:算法模型
技术:Python、SQL

业务和功能介绍

云手机场景下,用户需要在不同 App 里完成订外卖、订机票、查信息等操作,流程割裂、学习成本高。项目目标是做一个 类“智谱牛牛”的多 Agent 系统,把手机里的每个 App 通过 GUI Agent 封装成可调用能力,用户只需要一句自然语言指令,系统自动完成整套操作。

项目实现

技术方案与技术栈:
1️⃣ 意图与实体识别
模型:Qwen2.5-14B-Instruction
方式:SFT 微调
数据:
来源于历史“通通智能助手”的真实用户对话
人工梳理意图体系(如订外卖、订机票、查天气等)
构造实体槽位(地点、时间、品类、航班信息等)
关键点:
将传统 NLU 拆成 “意图 → 子 Agent 路由”
输出结构化 JSON,直接供调度器使用
2️⃣ 多 Agent 架构
架构设计:
主管 Agent(Planner):负责任务拆解、顺序规划
子 Agent:按意图划分(外卖、出行、信息查询、GUI Agent 等)
实现方式:
基于 Dify 工作流 做基础编排
自研轻量调度器,负责:
Agent 选择
参数透传
失败回退与重试
3️⃣ GUI Agent 实现
视觉输入:
云手机真实截图(不同分辨率、不同 App 状态)
文本输入:
预制操作模板 + 槽位占位
从用户对话中自动填槽
执行链路:
识别当前页面 → 决策下一步操作(点击 / 输入 / 滑动)
难点处理:
页面不确定性 → 引入多步确认
操作失败 → 回退到 Planner 重新规划
4️⃣ 关键技术栈总结
模型:Qwen2.5-14B
微调:SFT(LoRA)
框架:Dify + 自研调度
能力:Agent、GUI Agent、多模态、结构化输出

我承担的是 核心算法 + Agent 架构设计,主要包括四块:
意图与实体识别模型设计与训练
多 Agent 架构与调度逻辑设计
GUI Agent 的数据构建与推理链路
整体效果评估与验收指标设计

训练后的主要问题是 意图混淆、实体字段漂移、复杂任务识别和表达泛化问题,通过重构意图体系、增加困难样本、Schema 约束和 Planner 拆解任务 来解决,最终把 Agent 路由准确率稳定在约 95%


示例图片视频


尹子琦
24小时内活跃
方向: 人工智能-AI应用开发、人工智能-数据标注和训练支持、
交付率:100.00%
相似推荐
广东省国土资源空间规划质检软件
🔹 项目内容|从痛点洞察到架构级解决方案 ✅ 主导质检架构革命性重构(核心突破) 深度分析23个地市12类业务场景的迭代反馈,精准定位“需求变更频繁、开发重复度高”痛点,突破原有单体框架,独立设计新一代质检架构: 三级方案管理体系:首创“模板方案→发布方案→历史方案”流程引擎式架构,实现方案热更新“改不影响用、删不影响旧”,迭代效率提升300%; 标准化配置体系:定义流程模板+接口规范+规则配置三要素,将质检逻辑解耦为“可视化编排+算子调用”,实施人员可独立配置90%新需求; 插件化开发框架:基于开闭原则设计算子注册机制,新增规则仅需实现指定接口,框架自动调度执行。 ✅ 混合存储体系攻坚(亲写核心代码) 设计“Oracle(业务元数据)+ ES(730万+错误明细)+ 人大金仓(空间图形)”三级存储架构; 编写SpringBoot Kafka消费者:智能解析JSON→剥离Geometry→BulkProcessor批量写入ES;含图形错误通过存储过程同步至人大金仓,主库上线后零扩容。 ✅ 全流程技术闭环 绘制部署图/数据流图/顺序图等12+架构文档,统一团队认知; 亲写调度引擎(C#线程池动态调度)、ES查询框架(Java注解驱动)、代理网关(JWT鉴权)等核心模块; 输出《算子开发规范》《配置操作手册》,培训实施团队实现“无代码配置”,释放开发资源。 🔹 硬核成果|数据验证技术价值 🌍 规模化业务落地 → 覆盖全省23地市,支撑12类自然资源业务场景、54个质检方案、1179条规则 → 累计完成18,000+质检任务,精准存储730万+错误数据行,系统可用性99.95% ⚡ 技术复用革命 → 实施零编码:90%新需求由实施人员通过配置实现,开发介入减少80% → 算子开发聚焦:2025年团队高效开发114个算子(占4年总量50%),沉淀为自然资源领域标准算子库 → 存储成本归零:主数据库压力降低70%,上线至今未申请扩容,年节约成本15万元 🏆 知识产权与行业认可 → 国家发明专利1项(《一种智能调度和趋势监控的方法》第一发明人) → 软件著作权1项|架构设计获客户“技术创新标杆项目”表彰 🔹 深度感悟|技术管理者的核心价值 💡 痛点即创新起点 没有止步于“修修补补”,而是通过深度观察1179条规则的共性,将碎片需求抽象为可复用架构——真正的技术领导力,在于把业务复杂度转化为系统简洁性。 💡 架构是业务与技术的翻译器 三级方案管理体系不仅是技术设计,更是对“业务试错-方案固化-历史追溯”工作流的精准映射;混合存储方案是性能、成本、扩展性的最优解。技术人必须懂业务逻辑,才能设计出“活”的系统。 💡 赋能团队创造复利价值 当实施人员能独立配置需求,当开发专注高价值算子,团队生产力实现质变。技术管理者的终极使
长春科软信息技术有限公司-汽车移动端系统
主导系统用户管理模块的后端开发,覆盖用户注册、信息维护、权限变更、逻辑删除及多维度检索等核心功能。采用 RBAC(基于角色的访问控制)模型 设计权限体系,结合 JWT + OAuth2.0 实现无状态身份鉴权,确保用户数据操作的安全性与可追溯性。针对用户表千万级数据量,通过 分库分表(ShardingSphere)+ 索引优化 提升查询效率,复杂检索场景引入 Elasticsearch 实现毫秒级响应。共同开发共同为吉利、红旗、奥迪等知名品牌开发移动端后端系统,处理高并发用户请求,设计RESTful API接口,确保系统稳定性和响应速度。
校园外卖小程序
1. 立项背景与目标:发现高校里外卖进不来、点单要排队、校园里的各类信息也不好传递等问题,于是启动这个校园综合服务平台项目。核心目标就是做一个贴合大学生需求的平台,把餐饮、社交和配送整合到一起,让学生、商户都能受益,目前已经在10多所高校用起来了,服务了上万名学生。 2. 软件功能及核心模块:主要有四个核心功能,都是围绕校园场景设计的。一是校园外卖,整合学校食堂和周边商家,方便学生点单;二是校园墙,供学生发失物招领、闲置转让等信息,还能互动交流;三是扫码点餐,去食堂或商家不用排队,扫个码就能点单付钱;四是专属骑手配送,组建专门的配送团队,确保餐品能及时送到学生手里,四个功能相互配合,适配校园日常使用。 3. 业务流程与功能路径:整体流程很简单,形成一个闭环。学生端点外卖、扫码点餐,在校园墙发信息;平台这边负责审核订单和信息,安排骑手配送、对接商家;商家接到订单后出餐,骑手取餐配送;最后学生取餐、确认,或者在校园墙互动,整个流程高效顺畅,能快速落地服务。
电商平台订单系统重构(微服务版)
该项目是为一家中型电商企业重构其订单交易模块。原系统为单体架构,大促期间订单处理缓慢、库存超卖频发。目标是构建高可用、可横向扩展的订单中台,支撑日均10万级订单量。 核心功能包括: 订单下单、支付回调、状态流转管理 库存扣减与回滚 订单超时自动取消 订单数据分库分表存储
燃机专业大模型
本项目旨在依托国产开源大语言模型 Qwen3-32B,构建面向燃机专业领域的智能问答与数据分析能力,实现对燃机运行、维护及管理全过程的智能化支撑。项目以燃机知识问答与数据问答为核心应用场景,结合项目现有的工况数据、运行规程、设备手册及历史故障案例,通过高质量语料构建、预训练(PT)及监督微调(SFT)等技术手段,打造具备专业领域理解、数据分析与推理能力的行业专用模型。 在技术实现上,项目将 Qwen3-32B 作为训练基座模型,利用其在中文处理、长上下文理解、指令跟随及复杂推理等方面的优势,针对燃机领域特有任务进行定向优化。系统部署采用华为昇腾 910B 集群及高性能推理框架,实现高并发、低延迟的模型服务,满足现场实时交互需求。 项目建设完成后,将在以下方面实现突破: 专业化知识理解:精准解析燃机领域技术规程、诊断步骤及运行数据。 数据驱动决策支持:为运行调度、故障排查提供智能分析。 可扩展的技术架构:支持多场景扩展与持续模型迭代,保障系统在未来业务需求变化中的适应性。 本项目的实施将有效提升燃机运行管理的智能化水平,降低人工分析成本,缩短决策周期,为能源安全与运行效率提供坚实的技术保障。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服