三分钟看懂 Qwen-UI-Agent（下）：AI 如何在 1 万个环境里学会“把事办成”？

上篇讲的是“身体”：真实手机、电脑、网页、CLI 和跨平台 Harness。下篇讲的是“大脑如何练出来”：先模仿正确操作，再专治常见手误，最后进入环境里为整件事的成败负责。

一个 GUI Agent 最危险的时刻，不一定是它完全不会做，而是它看起来做完了，实际没有。

例如，它用脚本往 Excel 中插入了一张图表，代码没有报错，于是回复“任务已完成”。可如果真正打开文件，图表可能是空的，甚至会被仍在后台运行的办公软件覆盖。

Qwen-UI-Agent 的训练重点，正是让模型从“生成一串看似合理的动作”，变成“对最终结果负责”。

1. 训练不是一步到位，而是三层递进

论文采用了三个阶段：

这三层并不是重复训练。

SFT 告诉模型“通常应该怎么做”；Action RL 告诉它“这个具体动作为什么错”；Online RL 则只看最终环境状态，逼它回答更难的问题：你到底把事情办成了吗？

2. 第一层：先让不同领域的“老师”各自练好

手机、电脑、网页和 DeepSearch 的操作习惯并不相同：

• 手机上的难点是弹窗、权限、深层入口和跨 App；

• 电脑任务常常需要 GUI 与 Bash 配合；

• 网页会动态变化；

• DeepSearch 需要跨来源检索、核验和综合。

团队先为不同领域训练专家模型，再把专家 checkpoint 合并为一个统一模型。每个专家的训练数据里还会混入少量其他领域数据，避免只会自己的“专科”。

为什么还要混入普通问答、数学和代码？

GUI 训练很容易让模型变成“只会点屏幕的偏科生”。因此，论文把少量通用问答、数学、代码、视觉理解、搜索和工具使用数据混入 SFT。

一个很有意思的经验是：用于保持通用能力的数据，最好是基础模型本来就能答对的样本。它们像复习题，帮助模型保住原有能力；如果大量塞入它原本不会的难题，训练目标反而可能互相打架。

100 多步的轨迹怎么训练？

如果每一步都带上此前所有截图，计算会非常浪费。论文把轨迹切成连续 5 步的滑动窗口，每次前进 4 步，相邻窗口保留 1 步重叠；旧的文本历史保留，但更早的截图不再重复输入。

这样既给新动作留下必要的视觉上下文，又减少了相邻训练样本中大量重复的图像计算。

3. 第二层：Action RL 专治六种“手误”

只模仿成功案例还不够。长任务中，一个小错误就可能把后续全部带偏。

论文总结了六类反复出现的动作错误：

1. 点错相似元素：目标旁边有长得很像的按钮；

2. 排序与排名理解错：把最高、最新、第几个或 Top-k 搞混；

3. 数量或多目标不完整：要求处理 5 个，只做了 4 个；

4. 提前宣布完成：内容填好了，却没点保存或提交；

5. 陷入重复循环：同一个按钮反复点，界面却没有变化；

6. 不会用长尾动作：该 ask_user 或长按时，仍然只会普通点击。

Action RL 的奖励可以简化理解为：

$$
r_t = \text{格式正确} \times \left(\text{动作类型得分}+\text{参数质量得分}\right)
-\text{敏感误操作惩罚}-\text{重复动作惩罚}
$$

也就是说，不仅要输出合法格式，还要选对动作类型、点到正确位置、填入正确内容；敏感动作做错和无意义循环会被扣分。

这种训练尤其照顾低频但关键的动作。论文统计中，点击、拖动和输入等高频动作占原始数据的 80.1%，ask_user、long_press 等长尾动作只有 19.9%。Action RL 将长尾动作样本比例提高到约 40%，其奖励得分由 71.5% 提升到 77.9%。

4. 第三层：Online RL 不看过程像不像，只看最后成没成

局部动作正确，不代表整条任务会成功。

例如，“用脚本创建图表”本身没有错；真正的问题是模型没有打开文件确认结果。要学会这种延迟影响，Agent 必须进入可交互环境，完整执行任务，再由验证器检查最终状态。

团队为此构建了约 1 万个经过验证的任务—验证器对，并让最多约 1 万个沙箱环境并发 rollout。任务可以超过 100 个交互步骤。

训练采用面向 GUI 轨迹调整过的 GRPO。对同一个任务采样多条完整轨迹，验证器只给最终结果 (r_i\in{0,1})，再比较同组轨迹谁做得更好：

$$
\hat{A}_i = \frac{r_i-\bar r}{\operatorname{Std}(r_1,\ldots,r_K)+\epsilon}
$$

不用被公式吓到。它表达的意思很简单：同一道题多做几遍，成功路径相对加分，失败路径相对减分。

为什么不能一直刷最难的题？

如果同一组 rollout 全部失败，大家都是 0，模型学不到哪条路径更好；如果全部成功，也缺少有效差异。

因此论文采用动态课程：

• 成功率适中的任务进入主训练池；

• 当前完全不会的任务放进监控池，少量试做；

• 一旦难题开始出现成功轨迹，就升级到主训练池；

• 已掌握任务继续低频监控，退步后再重新激活。

这相当于总把训练资源放在模型“踮踮脚够得着”的位置。

5. 关键变化：从“我觉得做完了”到“我检查过了”

论文用一个 Excel 图表任务展示了 Online RL 前后的行为差异。

未经 Online RL 的模型用脚本创建图表，只检查工作表中是否存在一个图表对象，就直接结束。事实上，交付文件里的图表是空的。

经过 Online RL 后，模型会重新打开办公软件查看真实渲染结果；发现恢复对话框和残留进程会破坏图表后，它清理问题并再次确认，最终才结束任务。

图 1：论文 Figure 19 裁切图。上方策略相信脚本检查，下方策略重新打开应用、发现问题并修复。

在 OSWorld 的统计中，Online RL 后：

• 至少包含一次验证动作的轨迹比例提高 14.7%；

• “自己说成功、最终验证却失败”的假停止率下降 11.2%。

这比单纯把点击准确率提高几个点更接近真实生产力：Agent 开始理解，“没有报错”并不等于“交付正确”。

6. “Bash 是手，GUI 是眼睛”不是人工写死的

另一个案例是整理收据。

SFT 模型只用 OCR 和脚本读取收据，把一笔 Cash Out 错当成收入，又没有检查表格。Online RL 后，模型会用 Bash 高效处理文件，再打开图片用视觉确认收据含义，最后重新读取表格核对写入结果。

图 2：论文 Figure 20 裁切图。执行方式从“只信脚本”变成“脚本执行—GUI 观察—结果核验”。

论文没有显式奖励“GUI 与 Bash 必须配合”，但训练后出现了这种协同行为：

• GUI 动作占比增加 6%；

• 同时使用 GUI 和 Bash 的轨迹比例增加 10.6%；

• “Bash 改变状态后，用 GUI 检查”的轨迹比例从 40.2% 升至 52.4%。

同时，模型在长任务中保持指令约束的能力也变强：满足全部约束的任务比例在 OSWorld 提升 8.6%，在 BrowseComp-ZH 提升 7.5%。

7. 数据飞轮：让 Agent 帮忙训练下一个 Agent

GUI Agent 最大的成本之一，是人要不断设计任务、搭环境、收集轨迹、判断失败原因，再补新数据。

Qwen-UI-Agent 引入了类似 AutoResearch 的数据飞轮：

1. 评估当前模型；

2. 自动分析失败属于模型、环境、任务还是验证器；

3. 把模型失败归因到知识缺失、约束遗忘、状态跟踪或验证不足；

4. 针对薄弱点生成新任务、环境状态和验证器；

5. 收集并筛选新轨迹；

6. 加入下一轮训练，再重新评估。

这里有个容易误读的地方：论文称其为 agent-driven，不是完全无人值守。作者明确承认，当前基础模型还无法可靠管理整个能力开发流程，仍需要相当程度的人类监督和纠错。

8. 成绩到底怎么样？

论文主要评估 27B、35B-A3B 和 4B 三种版本，其中 27B 是端到端评测的主力版本。最亮眼的是移动端：

图 3：论文 Figure 7 裁切图。MobileWorld-Real 包含 409 个任务、104 个 App、7 个领域和 35 类意图。

不要只看“第一名”三个字

理性看，Qwen-UI-Agent 并非所有榜单都第一：

• OSWorld-Verified 的 79.5% 低于 Claude Opus 4.8 的 83.4%；

• OSWorld-v2 的 40.0% partial 低于 Opus 4.8 的 54.8% 和 GPT-5.5 的 49.5%；

• 其亮点更集中在移动端真实设备，以及中等规模模型的综合执行能力。

不同模型的部分分数由作者在自己的环境里复现；论文也注明，一些 harness、评审模型、运行时或任务子集与其他官方报告并不完全一致。因此，最稳妥的结论是：它在论文设定下表现领先或有竞争力，而不是已经无条件证明“全面超过所有闭源模型”。

9. 这篇论文还有哪些边界？

作者列出了几个重要限制：

1. 真实手机难以读取第三方 App 的内部状态，因此 MobileWorld-Real 主要使用 AutoJudge，而不是确定性验证器；

2. AutoJudge 在 666 条专家复核轨迹上的完全一致准确率为 92.8%，仍会带来少量评测不确定性；

3. 报告发布时，35B-A3B 的电脑与 DeepSearch 训练仍未完成，相应结果缺失；

4. 更高保真的合成环境尚未纳入本次模型训练；

5. 数据飞轮仍需大量人工监督；

6. GUI 每一步都要重新观察、推理和执行，长轨迹延迟仍是落地障碍。

此外，项目仓库目前公开，采用 Apache 2.0 许可；但阅读项目时应区分“仓库和演示公开”与“本报告涉及的所有模型权重、训练数据和真实设备基础设施都已完整开放”，不能把两者自动画等号。

10. 最后总结：它真正想定义的是 GUI Agent 的下一阶段

如果只看分数，Qwen-UI-Agent 是一个移动端表现很强的 27B GUI 模型。

如果看完整论文，它更像一份下一代 GUI Agent 的系统路线图：

真实设备提供经验，GUI 与 CLI 提供互补的手段，SFT 教会基本操作，Action RL 修正局部错误，Online RL 对最终结果负责，数据飞轮持续补齐弱点，Harness 再把能力接到真实生活事件和跨设备工作流上。

它最值得记住的并不是 92.2% 或 97.5%，而是一个行为变化：

过去的 Agent 做完动作就结束；更成熟的 Agent 会回头看一眼，确认事情真的办成。

资料来源

• Qwen-UI-Agent 项目主页

• 项目仓库

• Zhou et al., Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents, arXiv:2607.28227, 2026。