只需动动嘴，就能操控 gui 代理？
由美团与浙江大学联合推出的 GUIRoboTron-Speech——让你彻底解放双手，直接对设备“发号施令”。
这是首个可以直接通过语音指令和屏幕截图进行端到端（End-to-End）决策的自主 GUI 智能体，致力于为用户提供更自然、高效且无障碍的人机交互方式。
从文本到语音，智能代理的新一轮进化
目前，基于大语言模型（LLMs）的自主 GUI 智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作，显著提升用户效率。然而，这种依赖文本输入的方式在某些场景中存在明显局限。
设想这样一个常见的家庭场景：当你对家里的共享电脑发出“打开我的浏览器”的指令时，一个只能理解文本的智能体将无法判断你是谁，也就无从得知所谓“我的”浏览器具体指哪一个账户界面。
而一个具备语音处理能力的智能体，则可以通过识别说话人的声纹特征，准确识别身份，并为你打开专属的 Google 浏览器页面。
这正是语音模态所独有的优势——它不仅传达了指令内容本身，还蕴含了身份、语气、情绪等丰富的附加信息，这些对于实现个性化和智能化人机交互至关重要。
传统做法如采用“语音识别（ASR）转录 + 文本驱动的 GUI 代理”的级联流程，不仅增加了系统延迟和计算开销，还在转录过程中丢失了大量声学细节。
而 GUIRoboTron-Speech 创新性地构建了一个端到端的语音驱动 GUI 代理，可直接结合语音指令与屏幕截图进行任务执行。
打造端到端语音驱动的 GUI 代理
GUIRoboTron-Speech 研究团队设计了一套系统化的研发路径，其核心方法主要包括以下关键环节：
第一步：高质量语音数据集构建
面对缺乏可用于训练 GUI 智能体的语音指令数据集这一难题，研究团队提出并验证了一种高效的解决方案。他们利用先进的随机音色文本转语音（TTS）模型，将现有的大规模文本指令数据集转换为包含多种说话人风格的高质量语音指令数据集，有效解决了训练数据匮乏的问题。
第二步：渐进式训练框架设计
为了让模型逐步掌握复杂任务处理能力，训练过程被划分为两个阶段：
基础感知阶段（Grounding Training Stage）：在此阶段，模型学习建立语音指令与 GUI 屏幕元素之间的精准映射关系。例如，“点击‘确定’按钮”需要模型准确理解语义并在屏幕截图中定位目标按钮的位置。
任务规划阶段（Planning Training Stage）：在掌握基本“听—说—看”能力后，模型进入更高阶的任务推理训练。此时，它需理解并执行多步骤复合任务，例如“先登录账号，再查找最新邮件并打开附件”，从而展现出智能代理应有的逻辑推理与任务调度能力。
第三步：启发式混合指令训练策略
由于大多数预训练基座模型主要以文本为核心训练数据，容易产生模态不平衡问题，即模型倾向于依赖熟悉的文本模态，忽视新增的语音模态。
为此，研究团队提出了启发式混合指令训练策略，在训练过程中交替使用语音和文本指令，强制模型对两种模态保持同等关注度，有效缓解模态偏见问题，确保语音信号也能被准确理解和响应。
性能评估结果
对比不同模态指令下的 grounding 性能可以发现，单独使用 speech-based 指令相比 text-based 指令平均定位精度略低 1.6%；但通过混合指令训练策略，不仅可以缓解模态不平衡问题，甚至在某些指标上超越纯文本训练效果。
在 planning 能力方面，基于混合指令训练的 checkpoint，speech-based 指令同样优于 text-based 指令。
此外，在多个基准测试中，GUIRoboTron-Speech 均表现出色。
在 AndroidControl-Low 上使用公开数据时，其平均成功率领先其他方法 1.3%；在 AndroidControl-High 上，相较所有 SOTA 方法高出 7.8%。在 GUI-Odyssey 数据集上，其表现仅次于使用内部数据的 UI-TARS。
这些结果表明，GUIRoboTron-Speech 作为一款支持语音指令的 GUI 智能代理，具备很高的实用价值，能够通过多轮推理和动作预测完成用户任务，验证了 speech-based 指令在 GUI Agent 场景中的可行性。
最后，研究团队还分析了指令长度对任务成功率的影响。结果显示，在指令较短、意图明确的场景下，speech-based 指令表现优于 text-based；但在长指令、复杂意图情况下，text-based 指令更能承载复杂的用户需求。
如何更好地处理复杂语音指令以保持稳定的任务成功率，将是 speech-based GUI Agent 的重要发展方向之一。
联系方式：wenkangh@zju.edu.cn
论文链接：https://www.php.cn/link/1a88cb4147bc347b7cadbf4b1bf8871e
Github 仓库地址：https://www.php.cn/link/f4d6030a34f2d2fe887f570fb64ea8d9
附：美团实习生招聘
美团 - 基础研发平台 - 实习生招募（优秀者可推荐至北斗计划）
岗位 1：面向图形用户界面（GUI）的自动化操作，包括 mobile use、computer use agent 和 embody agent 等方向，探索大规模模型训练方案、端到端强化学习及自动化轨迹合成技术。
岗位职责 1：
1. 具备良好的工程能力，将算法转化为实际 demo
2. 设计并落地端到端强化学习方案，基于 mobile/pc 环境实现多步骤动作在线调优，推进 data-free 智能体优化方案
3. 探索 2D/3D 世界模型，如 GUI 页面状态转换和具身环境物理状态建模
4. 设计并实现多智能体交互机制，提升 planning、memory、tool_calling 等核心能力
5. 产出高水平学术论文
——————————————————————————————
岗位 2：面向图表（chart）、表格（table）等结构化数据的多模态理解和代码生成，具体任务包括 chartQA 和 chart2Coder，探索高效数据合成方案和类 GRPO 强化微调技术。
岗位职责 2:
1. 运用强化微调技术提升 chartQA 和 chart2Coder 的推理性能与开源评测排名
2. 设计有价值的图表交互方式并构建自定义评测体系，丰富图表大模型的评测维度
3. 完善现有图表数据与评测数据的复杂推理水平，探索 step-by-step 的图表推理与代码生成技术
4. 产出高水平论文
要求：
1- 具备扎实的编程能力和多模态大模型微调经验
2- 有相关项目经验和开源贡献者优先考虑
联系邮箱：mailto:zengzhixiong@meituan.com
欢迎点赞、转发、收藏！
欢迎在评论区留言交流！
— 完 —
点亮星标，第一时间获取科技前沿动态
