机器人失败之后，数据才真正开始有价值：ALTER、实验结果与 N0-VTLA 的边界｜下篇
传统模仿学习最喜欢“干净”的成功示范。
但机器人一旦真正部署，产生最多的往往不是完美轨迹，而是一些更复杂的过程：毛巾从夹爪中掉落，机器人把它重新抓起；纸箱折到一半卡住，人类接管几秒钟，把动作拉回正轨；某次尝试没有彻底失败，却停在一个比开始更糟的状态。
直接丢掉这些数据很可惜，因为它们恰好告诉模型“什么动作让任务退步”“怎样从错误状态恢复”。可如果把整条轨迹都当作正示范，又会把失败动作一起学进去。
ALTER 要解决的就是这个矛盾：不再只问一条轨迹最终成功还是失败，而是比较轨迹中的两个时刻，判断哪一个更接近任务完成，再把这种相对进展转成离线策略训练所需的优势标签。
ALTER 的全称是 Advantage Labeling from Trajectory Events and Relative Progress，即“根据轨迹事件与相对进度生成优势标签”。它不需要再次与环境交互，而是在固定部署语料上完成优势条件离线强化学习。
第一步：保留四类经验，而不是只保留成功示范
ALTER 使用的数据包括：
- 干净的遥操作示范；
- 策略自主运行产生的轨迹；
- 人在回路（Human-in-the-Loop，HIL）纠正轨迹；
- 从指定错误状态开始、由人类完成恢复的分阶段恢复轨迹。
三个长程真实任务的语料规模分别是：
| 任务 | 干净示范 | 自主轨迹 | HIL 轨迹 | 其中分阶段恢复 |
|---|---|---|---|---|
| 毛巾折叠 | 351 | 286 | 180 | 80 |
| 背包整理 | 213 | 243 | 238 | 72 |
| 纸箱折叠 | 550 | 587 | 397 | 110 |
这些类别彼此互斥，恢复数据计入 HIL 总量。可以看到，部署数据并不只是成功样本的补充，自主失败和人工纠正占据了相当大的比例。
第二步：先把长任务拆成阶段，再谈“进步了多少”
长程任务不能只用总时长表示进度。
例如折毛巾时，“把毛巾展开”可能耗时很长，“把它移到左侧”则很短。如果简单把整个视频从 0 均匀标到 1，就会默认所有时间片都以相同速度接近成功；如果把每个阶段平均分配同样进度，又会让一个短暂过渡和一个复杂操作占据同样权重。
ALTER 先用 Gemini-3.5-Flash 从代表性示范中生成一套任务模板，包括总目标、阶段和更细步骤，再由人工对这套任务级模板审核一次。之后，词汇和顺序固定，不再逐条轨迹随意修改。
对每条干净示范，系统先用多种信号找动作边界：触觉接触变化是主要线索，再由末端运动、夹爪状态和视觉事件补充。VLM 只负责把已经分割好的时间区间映射到任务模板中的阶段，而不是直接从整段视频猜所有时间戳。
阶段权重按干净示范中的平均持续时间分配：
$$\
w\_k=\frac{\bar d\_k}{\sum\_{j=1}^{K}\bar d\_j},\qquad\
\phi\_t=\sum\_{j\<k}w\_j+w\_ku\_t.\
$$
$\bar d_k$ 是第 $k$ 个阶段的平均时长，$u_t\in[0,1]$ 是当前阶段内部的完成比例，$\phi_t$ 则是时刻 $t$ 的全局任务进度。
这使进度同时包含两层信息：现在已经走到哪个阶段，以及在这个阶段内部走了多远。
第三步：失败轨迹不强行单调，而是从事件前后生成偏好
干净示范通常可以近似看作持续向前，但自主轨迹和 HIL 轨迹会退步、重试甚至来回震荡。ALTER 因此不会给整条失败轨迹强行贴上单调递增进度。
它只在能够可靠定位的事件附近建立局部偏好：
- 触觉接触突然消失，可用于定位物体掉落；掉落前的状态应优于掉落后；
- HIL 日志标出人工接管区间；纠正结束附近的状态应优于纠正开始附近。
这些稀疏事件偏好，与干净示范中的密集阶段进度对一起训练一个成对进度模型 $A_{\theta}(x_a,x_b)$。模型接收两个时刻的多视角 RGB 与任务指令，输出二者的相对任务进展。
一个容易忽略的细节是：触觉、运动学和事件日志用于构造监督信号，却不是这个进度模型的输入。真正推断进度时，模型看的是 RGB 与任务提示。这降低了部署时对额外标注信号的依赖，也意味着 ALTER 的进度判断并不是一个“直接读取触觉大小”的规则。
第四步：把全局阶段与局部变化合成优势标签
训练好进度模型后，ALTER 将其冻结，并对所有保留轨迹计算两个量：
$$\
\hat\phi\_t=\delta\_e+A\_{\theta}(x\_t,x\_{e0}),\qquad\
\hat r\_t=A\_{\theta}(x\_{\min(t+H,T\_e-1)},x\_t).\
$$
第一个比较当前画面与回合起点，估计机器人已经走到任务的哪个阶段；第二个比较当前画面与一个动作块之后的画面，估计局部执行是在前进、停滞还是退步。
接下来，样本只与同一预测阶段内的其他样本比较。每个阶段中局部变化排名前 30% 的样本被标为 Advantage: positive，其余样本标为 Advantage: negative。这个标签直接追加到原任务提示中，策略仍然用原来的流匹配动作目标训练，架构无需增加新的价值头。
部署时统一使用正优势条件，相当于告诉策略：在当前任务下，生成更像“能让局部进展位于本阶段前 30%”的动作。
这里还有几项防噪设计：全局进度先经过五帧中值滤波；阶段编号被约束为不后退，但局部变化本身仍允许为负；恢复轨迹由于并非从任务起点开始，需要单独估计初始偏移 $\delta_e$；训练时优势标签以 0.3 概率被省略，防止策略完全依赖额外文本。
进度模型能看出“掉了以后又捡回来”吗
论文给出的毛巾折叠案例很有代表性。
第一条轨迹中，毛巾掉落后，预测进度随之下降，在恢复开始附近达到局部最低点；机器人重新完成有效操作后，进度才恢复上升。第二条轨迹中，已经展开的毛巾在搬运时重新皱成一团，而且没有恢复，预测进度一路保持低位直到结束。
这至少说明，在展示的留出案例上，模型没有把“时间继续流逝”误判成“任务继续推进”。它能够让进度在错误发生时下降，并区分恢复与未恢复。
但定性曲线仍不能替代系统性的进度预测误差统计。论文主要通过下游策略成功率证明这些标签是否真正有用，而不是把 ALTER 作为一个独立进度估计器全面评测。
真实机器人结果：触觉的优势集中在接触决定成败的任务
NeoReal 包含 9 个真实机器人接触密集型任务。N0-VTLA 与内部复现的 ACT、$\pi_{0.5}$ 在统一协议下比较，每项任务报告闭环成功率，同时用 100 分阶段里程碑给未完全成功的轨迹计算进度分。
整体结果如下：
| 指标 | ACT | $\pi_{0.5}$ | N0-VTLA |
|---|---|---|---|
| 9 项任务平均成功率 | 0% | 29.4% | 47.2% |
| 平均进度分 | 10.2 | 42.3 | 56.8 |
N0-VTLA 在 9 项任务的成功率上全部超过最强基线；进度分则在 9 项中领先 8 项。
几个任务比平均值更能解释触觉究竟改变了什么：
- 插座插接：N0-VTLA 为 85%，$\pi_{0.5}$ 为 60%。当插头碰到边缘时，前者会抬起、重新对齐再尝试，后者更容易继续向下压；
- 电路板插接：N0-VTLA 达到 25%，ACT 和 $\pi_{0.5}$ 都是 0%；
- 塑料瓶直立：N0-VTLA 为 30%，两个基线均为 0%。模型通过连续调整夹爪开度避免把柔软空瓶直接提起；
- 纸箱折叠：成功率为 20%，阶段进度分为 37.2；$\pi_{0.5}$ 的成功率为 5%，进度分为 19。即使未完成，触觉策略通常也推进到了更深阶段。
论文还在相同观测和相同采样噪声下做了触觉反事实比较。去掉触觉后，动作路径在自由空间几乎不变；在牢固接触和抓取时刻才明显分离，而且保留触觉的路径成功。这比单纯说“触觉有帮助”更有解释力：它显示新通路主要在接触关键时刻改变动作，而不是普遍扰乱运动。
模拟结果：总体提升明显，但双臂任务仍是短板
模拟评测分为 8 项 UniVTAC 任务和 12 项 NeoSim 任务，每项策略使用 100 条示范训练。
| 评测集 | N0-VTLA | 最强对比方法 | 差值 |
|---|---|---|---|
| UniVTAC（8 项） | 83.1% | InternVLA-A1：67.1% | +16.0 个百分点 |
| NeoSim（12 项） | 50.8% | $\pi_{0.5}$：45.8% | +5.0 个百分点 |
| 两套合计（20 项） | 63.8% | $\pi_{0.5}$：44.0% | +19.8 个百分点 |
其中，UniVTAC 的插孔与插管任务分别达到 95% 和 99%，抓取分类达到 100%。
不过，NeoSim 内部的单、双臂差异非常明显：4 个单臂任务平均成功率为 73.8%，8 个双臂任务下降到 39.4%。虽然它仍高于大多数对比方法，但这说明跨形态统一动作空间并没有消除双臂协调的难度。
还有一个应谨慎解读的点：项目主页和摘要所说“20 项模拟任务平均 63.8%，对比 44.0%”，是把 8 项 UniVTAC 与 12 项 NeoSim 汇总后的总体平均；如果只看更难的 NeoSim，提升是 50.8% 对 45.8%。两种说法都正确，但回答的是不同范围的问题。
ALTER 到底带来了多少提升
ALTER 在毛巾折叠、背包整理和纸箱折叠三个真实长程任务上比较了五种策略：只用示范监督微调的 $\pi_{0.5}$ 与 N0-VTLA、采用 $\chi_0$ 阶段优势监督的 $\pi_{0.5}$、两种骨干分别使用 ALTER 的结果。
| 方法 | 毛巾折叠 | 背包整理 | 纸箱折叠 |
|---|---|---|---|
| $\pi_{0.5}$-SFT | 40% | 20% | 5% |
| N0-VTLA-SFT | 50% | 35% | 20% |
| $\pi_{0.5}+\chi_0$ | 80% | 65% | 55% |
| $\pi_{0.5}+$ALTER | 90% | 75% | 60% |
| N0-VTLA+ALTER | 95% | 80% | 75% |
ALTER 并不只对触觉模型有效。即使使用视觉为主的 $\pi_{0.5}$ 骨干，它也把三项成功率提升到 90%、75% 和 60%。但在相同离线学习程序下，N0-VTLA 仍然分别领先 5、5 和 15 个百分点，说明触觉预训练带来的优势没有被后续离线强化学习抹平。
N0-VTLA+ALTER 每小时成功完成毛巾折叠、背包整理和纸箱折叠的次数分别为 43、15 和 30。这比只看成功率更接近部署价值，因为长程任务的单次耗时不同。
这篇论文真正证明了什么，又没有证明什么
把三篇内容合起来，N0-VTLA 给出了三层相互呼应的证据。
第一层是表示证据：潜在 token 在约 32 个候选中以 92.3% top-1 找到对应未来触觉，明显高于当前触觉编码的 57%，说明 $z$ 不只是复制现在。
第二层是行为证据：触觉反事实路径只在接触关键时刻明显分叉，真实插接、柔性瓶抓持和失败重试也呈现出符合触觉控制直觉的行为变化。
第三层是任务证据：真实机器人平均成功率从强基线的 29.4% 提升到 47.2%，20 项模拟总体从 44.0% 提升到 63.8%；再加入 ALTER 后，三个长程真实任务达到 75% 至 95%。
但仍有几条边界需要保留：
- 论文定义了省略第一阶段监督的 free-latent 变体，却没有给出完整的下游任务级对照表，因此“三阶段中的每一步分别贡献多少成功率”还没有被充分拆开；
- NeoData 的总小时数、回合数和平台占比未在本报告数据卡中展开，训练硬件和吞吐也没有公开，外部复现成本仍难估计；
- 下游适配采用一项任务一个策略，并非一个策略零样本完成所有真实任务；
- 触觉传感器以凝胶形变间接反映接触，不等于直接测得真实力；潜在 token 更不是可解释的物理方程；
- ALTER 当前只在三个长程真实任务上验证，是否能稳定扩展到更广泛的操作类型，论文也将其列为未来工作。
这些限制并不否定结果，反而帮助我们准确理解这项工作的落点：它不是已经解决所有接触操作的终极机器人模型，而是给出了一条相对完整的路线——如何规模化学习触觉、如何把预测触觉接到 VLA、又如何利用部署失败继续改进策略。
下篇小结：从“看见世界”走向“预判接触，再从失败中更新”
N0-VTLA 最值得关注的，不是把模型名字从 VLA 扩成 VTLA，而是它把两个长期分散的问题接了起来。
在单次动作生成内部，模型不满足于读取当前触觉，而是预测下一段动作将造成的接触变化，让动作专家提前利用这份潜在结果。
在多次部署之间，ALTER 又不满足于只收集更多成功示范，而是从掉落、纠正和恢复中比较“哪个状态更接近完成”，把不完美经验转成正负优势条件。
前者让机器人在接触发生时不再只会被动反应，后者让机器人在失败发生后不必把整条轨迹扔掉。
从这个角度看，这篇论文真正想建立的是一种更接近现实操作的学习闭环：动作之前预判接触，动作之中根据接触调整，动作失败之后继续从部署经验中学习。