ZimaBlue Paper浅读
先贴个源链接:https://arxiv.org/abs/2609.00188
如果最近一直在看 VLA、World Model 或者通用机器人操作，大概会有一种越来越明显的感觉：机器人模型越来越大、数据集越来越大、benchmark 越来越多，但最后所有路线似乎都会撞到同一堵墙上——机器人数据还是太贵了。
文本模型可以从互联网拿到几乎无限的文字，视觉模型可以从互联网上拿到海量图片和视频，但一个机器人真正能直接拿来学控制的数据，通常得包含相机、机器人状态、动作、时间同步，最好还有语言指令。更麻烦的是，这些数据还不是拿个手机出去拍一圈就行，而是要真的把机器人架起来，让它一次又一次完成抓取、放置、开门、整理、操作工具，然后记录完整 trajectory。
所以现在机器人 Foundation Model 一个很现实的问题是：如果通用能力最终还是高度依赖 action-labeled robot trajectory，那这个 scaling 到底能走多远？
ZimaBlue 想回答的基本就是这个问题。
它的思路其实一点都不玄学，甚至可以概括成一句非常简单的话：
机器人真正昂贵的是“动作经验”，但“世界经验”其实到处都是。
互联网上没有几百万小时 Franka 机械臂的 action label，但有人切菜、开冰箱、拿杯子、使用工具、整理桌面的第一视角视频。一个人把杯子拿起来放到桌上，这段视频并没有告诉我们机械臂末端执行器应该输出什么 Cartesian command，也没有 Franka 的 joint trajectory，但它仍然包含很多东西：杯子可以被抓起来，手接触杯子以后杯子会跟着运动，门通常绕铰链转而不是平移，一个东西被遮挡后并不意味着它消失了，推一个物体的时候接触位置会影响运动结果。
这些东西都不是严格意义上的 robot action supervision，但显然和机器人最终需要理解的物理世界高度相关。
ZimaBlue 的核心问题因此变成了：能不能先用大量不带动作标签的视频，把“世界通常怎么变化”学出来，然后再用相对少得多的机器人数据，把这种世界知识和真正可执行的机器人动作连接起来？
从这个角度看，这篇论文其实并不是在单纯提出“又一个机器人模型”，而是在讨论机器人学习的数据来源应该怎么重新分工。论文明确把训练过程拆成三层：先进行大规模 embodied video pre-training，再用 multi-embodiment robot trajectories 做 video-action grounding，最后才进入具体目标机器人的 post-training。作者最终使用的视频规模超过 120,000 小时，而 action-labeled 的跨机器人数据大约是 6,000 小时。
这个比例本身就已经很能说明问题。
如果把传统 VLA 简单理解成：
看见当前场景 + 收到语言指令 → 直接预测机器人应该做什么，
那么 ZimaBlue 所在的 World Action Model，也就是 WAM 路线，想多做一步：
除了预测动作，还要学习“执行动作之后，世界会变成什么样”。
这一点看起来像是多此一举。毕竟机器人最后需要的就是 action，为什么非要让一个控制模型顺便学视频生成？
但换个角度就容易理解了。
假设我们让机器人“关上微波炉门”。一个纯 action-centric policy 可以学习：看到某种视觉状态以后，机械臂应该向某个方向移动。但如果训练数据里的微波炉换了、门的位置变了、背景变了、第一次推门没有完全关上，模型能不能继续做对，很大程度上取决于它是否只记住了训练数据里的 observation-action mapping，还是学到了更一般的东西：
门应该如何运动、什么样的视觉变化意味着任务正在取得进展、什么样的状态说明刚才的动作并没有真正完成目标。
WAM 想做的，就是把这种“未来会发生什么”和“我要怎么动”放在同一个模型里。
所以 ZimaBlue 的 Slow 模型在训练时并不是简单挂一个 action head，而是联合建模 future video 和 future action。视频 token 和 action token 在 block-causal attention 中能够互相利用信息：视频部分要学习什么样的动作会对应什么样的未来视觉变化，动作部分则要学习，如果希望场景按照某种方向发展，应该输出什么控制序列。
这里也是我觉得 WAM 和单纯“拿一个视频生成模型接机器人控制头”之间最重要的区别。
从工程实现看，ZimaBlue 从 Wan2.2-TI2V-5B 这样的 video diffusion backbone 出发，第一阶段先完全不碰机器人 action，只做 embodied video prediction。训练数据混合了 human egocentric video、simulation manipulation video 和 robot video，包括 EPIC-KITCHENS、EgoDex、HOT3D、DROID、AgiBot、Galaxea、RoboMIND2 等来源，之后还会继续用更聚焦于 manipulation 的高质量数据做一轮 continuation training。
这一阶段最值得关注的地方并不是模型又学会了生成多漂亮的视频，而是作者刻意把 generic video generation 往 embodied dynamics 上拉。
普通视频模型可以见过电影剪辑、特效、镜头切换、动画，这些内容对于“视频看起来合理”有价值，但对于机器人来说甚至可能是错误的物理先验。机器人真正需要的，是接触、物体移动、操作过程、第一视角运动和任务进展。所以论文强调的不是简单拿现成视频模型来做 policy，而是继续用 embodied video 去改造它。
这里论文用了很多“causal”这个词，我觉得大家在读的时候最好稍微谨慎一点。
ZimaBlue 的 causal video pre-training 很重要的一层含义，是它使用了符合实际部署信息流的 block-causal temporal modeling：模型预测未来时只能利用已经发生的 observation，不能像一些普通 video diffusion 那样整段 clip 前后互相看。
但如果从严格的 causal inference 角度理解，“看了大量视频”当然不等于已经识别出了真实世界完整的 intervention mechanism。
第一阶段更准确的理解可能是：
从视频里学习丰富的时序规律、物体交互规律和物理变化先验。
不过当前触觉好像都存在问题，传感器跟视触觉的方案也没battle出来一个赢家，距离物理层也远
真正把这些变化与“机器人施加的动作”绑定起来，是第二阶段才开始发生的。
而第二阶段恰恰是这篇论文另一个比较值得看的地方。
不同机器人最大的麻烦之一，就是 action space 根本不一样。一个数据集可能用左臂末端位姿，另一个可能是双臂 joint action，还有的机器人带 torso、mobile base 或 dexterous hand。如果只是简单把不同机器人数据拼在一起，连“动作的第 10 维是什么意思”都对不上，更谈不上跨 embodiment 学习。
ZimaBlue 做法很朴素：人为定义一个统一的 100 维 state-action semantic space。
比如一部分维度固定代表左末端执行器位置和旋转，一部分代表右末端，一部分是 gripper、arm joints、torso、base，最后还有左右手指关节。某个机器人没有右手，就把那一部分填零，同时用 mask 告诉模型这些维度不存在。这样不同 embodiment 至少可以被翻译到一个统一接口里。
这种设计从算法上看可能没有特别“惊艳”，但实际上对于 scaling 非常关键。
Foundation model 真正想吃多机器人数据时，很多问题不是 Transformer 换什么 attention，而是数据怎样才能进入同一种语义空间。
ZimaBlue 还没有直接使用世界坐标系下的 absolute action，而是采用 chunk-relative representation。简单讲，它不强调“机械臂最终移动到世界坐标 (x=0.83) 米”，而更强调“相对于现在的位置向前多少、旋转多少”。
论文里末端位置的相对表示写成：
直观上就是把未来目标动作重新表达成以当前机器人状态为参考的局部变化。
这个设计其实也非常符合 cross-embodiment 的直觉。不同机器人初始位置、安装方式甚至工作空间都不一样，但“相对当前状态向物体靠近十厘米”比“末端移动到全局坐标 0.7 米”显然更具有共享性。
于是到了这里，ZimaBlue 的训练逻辑就基本完整了：
先用大量视频学世界变化；
再用多种机器人数据告诉模型，这些变化和机器人 action 是什么关系；
最后再用目标机器人数据完成真正部署需要的 calibration。
我觉得这也是这篇论文最容易被忽略、但实际上很重要的地方：作者不是把不同来源的数据看成同一种 supervision。
Human video 最适合贡献广度和世界经验，multi-embodiment robot trajectory 用来做 action grounding，而 target robot trajectory 负责最后那一层精确控制。
换句话说，他们没有要求一种数据解决所有问题。
如果论文到这里结束，其实已经是一篇挺完整的 WAM scaling 工作了，但马上就会遇到一个非常现实的问题：
这种模型太慢。
这也是我认为 ZimaBlue 后半篇比“120K 小时视频”更有意思的地方。
World Action Model 相比普通 reactive policy，有一个天然缺点：你让一个大型 diffusion transformer 一边理解当前环境，一边生成未来视觉状态，一边再预测动作，本身就很贵。如果机器人每执行一点动作，都要等一个 5B 模型反复 denoise 完成一次 world-action rollout，那么理论上的“理解世界”最后可能输给最简单的问题——控制频率。
机器人不会因为模型正在进行复杂的世界建模就暂停物理世界。
杯子正在滑，接触已经丢了，机械臂还要等半秒才拿到新的动作，这时候再好的 world model 也没有意义。
于是 ZimaBlue 把模型拆成了 Slow 和 Fast 两套系统。
Slow 是一个大约 5B 的 DiT，负责更重的 world modeling，学习和维护 richer spatiotemporal representation。
Fast 则是一个大约 0.5B 的轻量 action model，负责真正高频地生成控制动作。
看到这里很容易产生一个误解：是不是 Slow 先生成未来视频，然后 Fast 看完这个“想象出来的视频”以后再决定机器人怎么动？
如果真这样做，速度问题其实并没有真正解决，因为 Fast 仍然得等 Slow 把完整 future video 生成出来。
ZimaBlue 更有意思的地方是，它没有这么干。
Slow DiT 在处理视频的过程中，本来就会在 Transformer 各层形成 Key/Value representation。作者直接把 Slow 前若干层的 video K/V cache 交给 Fast，Fast 的 action query 可以利用这些内部表示，同时再读取最新的 RGB observation、proprioception 和 language condition。
也就是说，Slow 不需要每一次都真的“画出未来的视频”再告诉 Fast。
Fast 直接使用的是 Slow 在进行 world modeling 时产生的内部动态表示。
这个设计让我觉得比“让机器人生成未来视频”这个表面描述更值得关注。
因为它其实暗示了一件事情：
World Model 对控制最有价值的东西，未必是最终生成出来的 future frames，而可能是生成未来过程中形成的 predictive representation。
换句话说，视频预测可以是训练 world representation 的工具，但部署的时候不一定真的需要把视频完整 decode 出来。
这一点对于以后 WAM 会往哪走，我觉得挺重要。
Slow 和 Fast 还是异步运行的。
Slow 可以按照比较低的频率更新自己的 world guidance，而 Fast 不需要等它，每次都可以根据最新 observation 做闭环 correction。
这就解决了另一个 WAM 很容易碰到的问题：世界模型的预测是会过期的。
比如 Slow 300 ms 前认为机械臂接下来应该已经把门关上，但实际机器人刚才因为接触位置不对，门又弹开了。Fast 如果只是机械地执行 Slow 当时预测的 action sequence，机器人就会继续生活在 300 ms 前的“想象世界”里。
而 ZimaBlue 的 Fast 每次还能看到真实的最新画面，因此可以一边利用 Slow 提供的长期 dynamics context，一边根据现实状态修正。
可以很粗略地把它理解成：
Slow 负责告诉机器人事情大概应该往哪里发展，Fast 负责不断确认现实有没有真的按照计划发展。
这不是一个严格的大脑 System 1 / System 2 对应关系，我觉得没必要强行往认知科学上靠，但作为工程分工，这个 Slow-Fast 思路非常合理。
当然，仅仅拆成 Slow-Fast 还不够。
Diffusion action policy 本身存在 iterative denoising，而且机器人如果每次得到一整个新的 action chunk 就直接替换掉正在执行的旧 chunk，很容易造成时间上的不连续。ZimaBlue 于是继续用了 Real-Time Chunking 一类的方法，让已经承诺执行的一小段 prefix 保持连续，只重新生成后面的 suffix。
同时作者还使用 DMD 做 step distillation，把原本需要更多 DiT evaluations 的生成过程压缩到两步。最终部署时，把训练蒸馏需要的额外模型全部丢掉，只保留 distilled Slow 和 Fast。
这套优化的效果非常直观。
论文给出的端到端 latency 是：
Slow-only 大约 449.6 ms；
异步 Slow-Fast 降到 145.6 ms；
进一步做 DMD distillation 和 compilation 后，降到 33.0 ms。
也就是最终能够在 RTX 4090 上做到大约 30 Hz 的闭环 action prediction。
这部分实验其实非常重要，因为很多 world model 工作最容易出现的问题就是：world modeling benchmark 很漂亮，但最后一旦进入真实 control loop，机器人根本跑不起来。
ZimaBlue 至少认真处理了这个问题。
但是如果只看架构，可能还不足以决定这篇论文到底值不值得读。真正让我觉得它应该被关注的，还是作者专门做的 video scaling 实验。
真实机器人测试使用的是 7-DoF Franka，输入包括两个 external RGB camera、一个 wrist camera、proprioception 和 language instruction。作者设计了 12 个 zero-shot task，其中既包括标准场景，也包括 illumination、clutter、background、unseen objects 等视觉 perturbation。
然后他们做了一个很简单但非常关键的对照。
如果只使用 target-robot 数据，zero-shot success 是：
**36.1%**
加入大约 6,000 小时 multi-embodiment robot trajectory 做 mid-training 后：
**46.1%**
再加入 60,000 小时 embodied video pre-training：
**66.9%。**
当 video scale 扩大到 120,000 小时：
**77.8%。**
我觉得整篇论文最值得记住的其实不是“77.8%”这个数字，而是：
**36.1 → 46.1 → 66.9 → 77.8 这条曲线**
前面的提升说明跨机器人 action data 有价值，这并不意外。
真正有意思的是后面那段：在 action-labeled robot experience 没有同步扩大一个数量级的情况下，仅仅增加 action-free embodied video，zero-shot robot performance 还能继续明显提高。
这才是 ZimaBlue 的核心 claim：
视频可能成为机器人能力的一条独立 scaling axis。
如果这个结论未来继续成立，那么机器人 Foundation Model 的数据经济学可能会发生很大变化。
以前的直觉基本是：
More robot demonstrations → Better robot.
ZimaBlue 想证明的是：
More embodied world experience → Better robot，也可能成立。
当然，这里一定不能直接把结果理解成“120K 小时视频已经让机器人学会了世界模型”。
尤其看 perturbation 结果的时候，会冷静很多。
完整模型在 Standard task 上能达到 87.9%，但在 Perturbed task 上只有 57.5%。作者自己也报告，四个 perturbed task 里，每个通常也就是 5/10 到 7/10 成功，而且常见失败包括无法从一个正确的中间状态继续推进、目标被碰走、接触丢失，以及机器人错误地和 tablecloth 发生交互。
不过这里还有一个很有意思的数据点：从 60K video 扩展到 120K video 时，Standard 只提高约 5 个百分点，而 Perturbed 提高了 22.5 个百分点。
这个结果至少和作者想表达的故事是一致的：
视频 pre-training 最可能带来的，不是把已经会做的动作再提高两三个点，而是增加模型在 distribution shift 下可以调用的视觉和物理先验。
笔者由于缺少验证的设备，也不好验证这个故事是否能真的闭环
Slow-Fast 本身也不只是为了 latency。
Slow-only 在这 12 个任务上的整体成功率是 63.9%，换成 Slow-Fast 后达到 77.8%；在 Perturbed tasks 上则从 30.0% 提升到了 57.5%。
这恰好说明高频 feedback 对真实机器人并不是工程细节，而可能直接影响所谓的“generalization”。
因为很多真实世界失败不是模型完全不知道应该干什么，而是第一次动作有一点偏差以后，没有及时利用新的 observation 修回来。
从这个意义上讲，这篇论文其实同时在讨论两种 generalization：
一种是数据层面的 generalization——你有没有见过足够多不同的世界；
另一种是控制层面的 generalization——现实没有严格按照模型预测发展时，你有没有能力快速回到闭环。
这两件事缺一不可。
模拟 benchmark 的结果也比较符合这个判断。
例如 RoboCasa365 里，ZimaBlue 在 Composite-Unseen 上达到 16.5%，而 ABot-M0.6 是 7.9%。不过同一个 benchmark 上，使用大规模真实 robot data 的 Xiaomi-Robotics-1 能达到 32.1%。
所以这篇 paper 并没有证明“video route 已经打败 robot-data scaling”。
恰恰相反，它提出的是一个更有意思的问题：
假设一种路线需要十万小时 action-labeled robot data，而另一种路线可以依赖大约 6,000 小时 robot data，再配合十万小时以上更便宜的 video experience，那么在最终能力、数据采集成本和可扩展性之间，哪条路线更合理？
这个问题目前可能比单个 benchmark 谁高几个点更值得讨论。
我觉得读这篇论文时还有一个东西需要刻意区分：
World Action Model 并不天然等于“机器人真正理解了三维物理世界”。
ZimaBlue 本质上仍然是一个非常强的视觉生成式模型路线。它确实通过 embodied video、causal masking、video-action joint training 得到了更强的 physical dynamics prior，但这种 representation 到底有多少是真正稳定的 geometry、contact state、object permanence，又有多少是高维 video statistics，目前还很难完全分开。
Camera perturbation、visual shift，以及 Composite-Unseen 仍然很低的绝对成功率，都说明我们离一个真正可靠的 open-world physical model 还有很远。
同样，120K hours 也还不能直接叫“scaling law 已经成立”。
严格来讲，目前只是观察到了几个数据规模点上的持续上升趋势。并且作者的 video pipeline 不只是增加 hours，中间还做了 curated embodied continuation training，数据质量和数据 composition 也发生了变化。
所以不能简单写成：
“只要继续堆视频，机器人能力就会一直线性上涨。”
更合理的说法是：
这篇论文给出了相当有吸引力的 empirical evidence，说明 action-free embodied video 确实可能成为通用机器人训练的重要数据来源。至于这种收益能不能继续 scale 到百万小时、千万小时，还需要更多工作验证。
另外，30 Hz 这个数字也最好放在正确语境下看。
它是在 NVIDIA RTX 4090 上，通过 asynchronous dual-system、DMD step distillation 和 compilation 一起得到的。
所以这不是“5B world model 已经可以随便部署到板载算力”这个结论。
如果我们的目标是 Orin、RK3588 甚至更加严格的移动机器人平台，这套架构离直接落地仍然有明显距离。
还有一个比较现实的问题是复现。
截至 2026 年 9 月中旬，官方 GitHub 仓库公开内容仍主要是 README 和 assets，论文虽然提供了 Code 链接，但当前仓库还没有完整训练代码和模型权重可以直接复现。
所以如果你现在点进去是想：
“我今晚 clone 下来，在实验室机器人上跑一下。”
那大概率会失望。
但如果问题是：
这篇论文有没有必要看？
我自己的答案会比较明确。
如果你正在做 VLA、generalist manipulation、world model、video pre-training、cross-embodiment learning，或者关心机器人 Foundation Model 下一步的数据路线，那这篇非常值得看。
但我觉得没必要一上来把所有 flow matching、DMD loss 和 appendix 从头推一遍。
最值得优先看的其实就三部分。
第一是三阶段 data pyramid，理解作者为什么把 video、multi-embodiment action data 和 target embodiment data 分开。
第二是 Slow-Fast architecture，尤其注意它不是“Slow 生成视频、Fast 再读视频”，而是利用 Slow 内部的 video K/V representation，再结合最新 observation 做高频 action refinement。
第三就是 scaling 和 perturbation experiment，因为这才决定了“120K 小时视频”到底只是一个漂亮故事，还是确实产生了 measurable improvement。
如果只是研究传统单任务控制、经典 model-based control，或者你的任务高度确定、几百条 demonstration 就已经能够解决，那么这篇论文短期可能不会直接改变你的方法。
但如果关心的是“未来机器人 Foundation Model 到底该吃什么数据”，我觉得 ZimaBlue 很有必要知道。
因为它把目前 WAM 方向越来越明显的一种思路表达得非常完整：
机器人不应该只从“机器人做过什么”中学习。
它也应该从世界本身学习。
人类之所以不需要亲手操作几百万种物体才能形成基本物理常识，很大一部分经验本来就来自观察。我们看过玻璃会掉下来，看过门怎么打开，看过别人使用工具，看过物体被遮挡后再次出现。真正开始亲手操作的时候，我们不是从零开始学习整个世界，而是在已有 world prior 上学习自己的身体如何作用于它。
ZimaBlue 想做的其实就是把这个逻辑搬到机器人上：
先用便宜、丰富、跨场景的视频建立 world prior；
再用相对昂贵的机器人 trajectory 告诉模型：
“你看到的这些变化，换成这具身体以后，应该怎么做。”
所以如果一定要把整篇 ZimaBlue 压缩成一句话，我不会说：
“这是一个 5B Slow + 0.5B Fast 的 WAM。”
我更愿意把它理解成：
这是一篇在认真尝试把“机器人学习”从 robot-data scaling，扩展成 world-experience scaling 的论文。
它目前还远没有证明 world model 已经解决了机器人泛化，120K 小时视频也没有神奇到让机器人真正理解物理世界；困难的 unseen long-horizon task 依然很难，视觉扰动依然会让性能明显下降，实时运行也依赖相当强的计算硬件。
但它至少把一条路线做得足够完整：
视频确实可以先教模型世界如何变化；
机器人数据可以随后把这种知识锚定到 action；
World Action Model 可以把两者放进统一生成式框架；
而 Slow-Fast 又让这样一个原本过于笨重的 world model，有机会真正进入机器人闭环。
这就已经足够让它成为一篇值得知道、也值得至少花时间扫一遍 Method 和 Experiments 的工作了。
尤其是在大家还在争论未来通用机器人到底应该继续疯狂收 robot trajectory，还是应该更多借用 human video、simulation、latent world model 的今天，ZimaBlue 最有价值的也许不是给出了最终答案，而是把问题问得更具体了一点：
机器人真正缺的，到底是更多“动作”，还是更多“见过这个世界”的经验？
这可能才是这篇论文真正值得继续往下看的地方。