把触觉接进 VLA，难点不在多一个传感器：N0-VTLA 的数据与三阶段训练｜中篇
给一个成熟模型添加新模块，最大的风险不是“训练不动”，而是模型根本不需要它。
N0-VTLA 的基础策略已经能靠视觉、语言和机器人状态生成动作。此时再接入一条随机初始化的触觉通路，联合训练看起来最直接，却可能出现两种结果：要么新通路制造噪声，拖累原有策略；要么动作专家继续走熟悉的视觉—语言捷径，几乎不读触觉。
所以，这篇论文的工程重点不只是潜在触觉 token，而是一套很有针对性的接入顺序：先规定 token 表示什么，再强迫动作专家学会读取它，最后才把整套系统联合起来。
在进入三阶段训练之前，还要先解决另一个更基础的问题：不同机器人、不同数量的手臂、不同触觉传感器，怎样共享同一套训练接口？
NeoData 不是简单堆数据，而是先统一“机器人说动作的方式”
N0-VTLA 在 NeoData 上进行视觉—触觉预训练。论文把它描述为覆盖多平台的大规模语料，平台包括 ARX X5、UR5e、Flexiv、Franka、Piper，以及用于手持采集的 Neo TacUMI 夹爪；数据同时包含单臂和双臂形态。
每个回合包含三路 RGB 画面——一路第三视角、两路腕部相机——再加语言指令、机器人本体状态和触觉流。单臂平台通常有两路触觉，双臂平台有四路触觉；所有模态统一以 30 fps 同步记录，输入模型前缩放到 $224\times224$。
不过，多平台数据真正难统一的不是图像，而是动作。
不同机械臂的关节数量、坐标系和控制接口并不相同。如果每个平台各用一套动作头，模型很难共享已经学到的接触经验；如果粗暴拼接，又会让动作含义混乱。
N0-VTLA 沿用 $\pi_{0.5}$ 的固定 32 维状态与动作容器。前 20 维分成两个各 10 维的手臂槽位，每个槽位包含：
- 3 维末端位置；
- 6 维 rot6d 旋转表示；
- 1 维夹爪通道。
双臂数据填满两个槽位，单臂数据只使用第一个槽位，第二个槽位补零；剩下 12 维始终为零。动作损失仍覆盖全部 32 维，因此模型也要学会在未使用维度输出零。
这并不是说不同机器人已经拥有完全相同的动力学，而是先给它们建立一套统一“语法”：不管来自哪台机器人，动作都以固定位置表达末端运动与夹爪状态。预训练动作头的权重由此可以直接加载，多平台触觉经验也能在同一个目标下训练。
为什么动作要改写成“相对这一段起点”
数据在磁盘中保存绝对末端位姿，但训练时，每个 50 步动作块都会相对于自身第一帧重新表达。部署时，再通过逆变换还原为绝对位姿，并由逆运动学转换为关节命令。
这样做的直觉是：模型无需记住“机器人此刻在工作台坐标系的哪个绝对位置”，而是学习“从当前姿态开始，接下来应该往哪里移动、转多少、何时闭合夹爪”。
论文附录特别提醒，动作存储格式、训练时的相对变换和归一化统计必须保持一致。最危险的数据错误甚至不会让损失爆炸：训练曲线可能看起来正常，最后得到的策略却无法在真机上使用。
这类细节看似不如模型结构吸引人，却决定所谓“大规模多平台训练”能否真正落地。
触觉输入也需要统一起点
视觉画面天然有场景内容，触觉图像却包含传感器凝胶自身纹理和安装偏差。因此每个回合开始时，夹爪必须张开并保持至少 0.5 秒无接触状态，建立本回合的基线。
当前触觉减去基线后，再交给冻结的 DINOv2 编码器。编码器的 $16\times16$ patch 网格经过 $3\times3$ 自适应池化，每个触觉视角最终只留下 10 个 token：1 个全局 token 和 9 个空间 token。新传感器接入时，主要训练轻量投影层，而不必重新训练整套触觉编码器。
冻结编码器还有现实收益：既保留自监督表征，也省掉编码器激活和优化器状态带来的训练显存。
如果某条数据完全没有触觉，模型会用一个可学习的空 token 代替。这样视觉数据和触觉数据可以共存，但空 token 只保证接口不断裂，并不保证缺少触觉时仍有同等接触能力。
第一阶段：先规定 $z$ 必须代表“未来接触”
第一阶段冻结整个基础策略，只训练触觉投影、潜在触觉预测器和一个轻量重建头。
预测器读取当前触觉 token，并在视觉—语言上下文中生成 10 个潜在 token $z$。它的目标 $z^{*}$ 来自未来 50 步结束时的触觉净变化，而不是当前触觉本身。
训练包含两个互补目标：
- 对称 InfoNCE 对比损失，让每个预测 $z$ 从一个 batch 的候选中找到与自己匹配的未来触觉目标；
- $L_1$ 重建损失，让 $z$ 还能还原未来接触变化的粗空间分布。
总目标可以压缩为：
$$
\mathcal{L}{1}=\mathcal{L}{\mathrm{NCE}}+\lambda_{\mathrm{rec}}\mathcal{L}_{\mathrm{rec}}.
$$
对比学习负责回答“这是哪一个未来”，重建项负责回答“接触大致会在哪里发生”。如果只有对比损失，潜变量可能学会区分样本，却未必保留接触位置；如果只做像素重建，又可能被触觉图像中的低层细节牵着走。
第一阶段最重要的作用，是先给 $z$ 一个不能随意漂移的语义：它应当表达未来接触，而不是复制视觉前缀，更不是任由后续动作梯度塑造成任何方便的隐藏特征。
第二阶段：遮住视觉捷径，逼动作专家学会读触觉
第一阶段之后，$z$ 已经有意义，但预训练动作专家从未见过这种 token。
如果此时直接联合训练，动作专家仍可以完全依靠视觉—语言上下文降低动作损失。于是第二阶段采取了一个很“强硬”的办法：冻结触觉感知堆栈和视觉—语言主干，只训练潜变量到动作专家的投影以及动作专家本身；同时，在动作专家的注意力中屏蔽来自视觉—语言前缀的 key 和 value。
此时，动作查询能看到的条件只剩下潜在触觉 token 与带噪动作 token。要降低动作损失，专家就必须学会从 $z$ 中提取信息。
这一步并不是要证明机器人只靠触觉就能完成任务。它更像接口培训：暂时关掉老通道，让动作专家确实学会新通道的“语言”。
第三阶段：恢复视觉，再进行端到端联合训练
当 $z$ 的含义已经被固定、动作专家也已经学会读取它之后，第三阶段才移除视觉—语言掩码。
除了始终冻结的触觉编码器主干，视觉—语言模型、预测器、投影和动作专家全部联合训练。此时只使用标准动作目标，不再继续施加第一阶段的对比与重建损失。
为什么可以把触觉监督拿掉？因为第三阶段的任务已经从“教 $z$ 表达什么”变成“让这一表达适应真实动作决策”。论文通过扰动分析检查联合训练是否把 $z$ 重新带回视觉捷径：第一阶段结束时，替换触觉输入造成的潜变量变化约为 0.9，而同时替换 RGB 与语言造成的变化不超过约 0.2；触觉对视觉—语言的敏感度比为 4.3。端到端训练后，这个比值下降到约 1.4，但仍然偏向触觉。
也就是说，联合训练确实让 $z$ 更好地融合上下文，却没有完全抹掉它的触觉属性。
92.3% 的检索准确率，究竟证明了什么
第一阶段结束后，论文使用 378 个留出查询做对比检索。在约 32 个候选目标中，$z$ 找到正确未来触觉目标的 top-1 准确率为 92.3%，随机概率为 3.2%。
更重要的对照是当前触觉编码 $g$。如果直接用 $g$ 排序同一批未来目标，top-1 只有 57%；候选池扩大到 128 个时，当前触觉基线下降到 40%，预测器仍有 81%。
这说明 $z$ 不只是复制当前接触。它确实包含了超出输入自相关的未来信息。
但这个数字也不能被解释成“未来触觉预测准确率达到 92.3%”。它是一个候选池内的检索指标，不是全数据集检索，更不是未来触觉像素或接触力的绝对误差。它证明潜变量能够辨认匹配的未来接触表示，而不是证明模型完整恢复了未来物理过程。
部署时有一个容易踩坑的细节：50 步必须完整执行
N0-VTLA 每次策略请求生成完整的 50 步动作块，流匹配求解使用 10 个 Euler 步。论文附录明确要求：控制器执行完返回动作块的全部 50 步后，才能再次请求策略。
如果只执行前几步就重新规划，机器人可能已经移动到目标附近，却始终没有闭合夹爪。原因不是模型不会抓，而是闭合命令集中在动作块尾部，每次截断都会把它丢掉。
这给工程部署一个很实际的提醒：动作块模型的训练时序与执行时序是一份契约。提高重规划频率不一定更灵活，如果没有重新训练相应的执行策略，反而可能系统性删除后半段动作。
同样，每个新回合开始时必须显式 reset 触觉基线。否则上一回合保存的无接触参考会污染下一回合的差分输入。
论文在规模信息上仍然留了空白
论文反复强调 NeoData 的大规模、多平台视觉—触觉预训练，但当前技术报告没有在数据卡中给出总小时数、总回合数或各平台占比，而是把这些信息指向配套数据报告。计算基础设施也只描述为多节点、现代加速器和集群规模，没有公开具体硬件型号、设备数量、显存占用与吞吐。
这不影响我们理解方法，却会影响外部团队判断复现成本和规模收益。尤其论文提出“首个在大规模触觉数据上预训练的 VTLA”这一优先性表述时，读者仍需要结合配套数据报告核对“大规模”的具体定义。
此外，下游监督微调采用“一项任务一个策略”，每项任务使用数百条示范；因此当前结果证明的是强触觉预训练对任务适配有帮助，还不能直接等同于一个单一策略无需微调就通吃全部真实任务。
中篇小结：三阶段训练，其实是在逐步关闭模型的逃课路线
回看整个流程，会发现三个阶段各自堵住了一条捷径：
- 第一阶段不让 $z$ 随动作梯度任意漂移，先把它钉在未来触觉上；
- 第二阶段遮住视觉—语言前缀，不让动作专家忽略新接口；
- 第三阶段才恢复所有信息，让触觉、视觉、语言围绕真实动作目标共同调整。
再往下，统一的 32 维动作容器、每回合触觉基线、相对动作块和完整 50 步执行，共同把这条触觉通路从论文结构变成可训练、可部署的系统。
然而，监督示范只告诉机器人“正确动作长什么样”。真机部署中更有价值的数据，往往是物体掉落、机器人卡住、人工接管和成功恢复。N0-VTLA 的下半场，是让这些不完美轨迹继续参与学习。
这正是下篇要讲的 ALTER。