Nvidia Jim Fan:下一步物理人工智能

演讲者:
Jim Fan
原视频链接:
https://youtu.be/_2NijXqBESI?si=LmnsqUhRMqfxHEqM
英伟达人工智能总监 Jim Fan 介绍了物理图灵测试的概念,并阐述了大规模仿真将如何开启机器人技术的未来。在 AI Ascent 2025 的这场开创性演讲中,将带大家了解到数字孪生、数字表亲和数字游民等概念。
Jim Fan 提出“Physical Turing Test”(物理图灵测试)作为具身 AI(embodied AI / 机器人 AI)的终极基准,强调通过大规模模拟(simulation at scale)突破现实世界数据瓶颈,让机器人真正“像人一样”行动。

核心理念:物理图灵测试
Jim Fan 指出,传统的文本对话图灵测试在很大程度上已被大语言模型(如 GPT-4 等)攻克。当前的 AI 竞争正从“屏幕后”转向“现实世界”。
核心论点:如果一个机器人在人类居所中执行复杂任务(如聚会后的清理)表现得与人无异,它就通过了物理图灵测试。
数据的“核能”:仿真技术
由于现实世界中采集机器人数据(遥操作)成本极高且难以规模化,NVIDIA 将重心放在了仿真上。
现实数据像“化石燃料”般稀缺。
Jim Fan:
"The real robot data is the human fuel. It's worse than fossil fuel. You're burning human fuel. And what's worse, it's at most 24 hours per robot per day. And in fact, you'll get much less than that because the humans gets tired and the robots get tired even more than the humans. So this is what you get... "
“真实机器人数据就像是人类的燃料,甚至比化石燃料还要糟糕。你在燃烧的是人类的时间与精力。更严重的是,每个机器人每天最多只能工作24小时,而实际上,由于人类会疲劳,机器人比人类更容易“疲倦”,实际可采集的数据量远低于理论值。这便是当前面临的现实……”
而仿真数据则是可以无限扩展的“核能”。
Jim Fan:
"We got to leave the physical world and then do something in simulation...Simulation data is like nuclear energy—it’s clean, it’s scalable, and we can generate as much as we want."
“我们需要离开物理世界然后再仿真中做点什么…仿真数据则好比核能——清洁、可扩展,我们可以按需生成。”
三大模拟范式
Digital Twins(数字双胞胎):1:1 精确复制真实机器人与环境,用于零误差转移(如抓握香槟、工业拾取)。
Digital Cousins(数字表亲):Robocasta 框架(生成式模拟)。用 Stable Diffusion 生成纹理、LLM 生成布局(XML),把 1 次人类演示扩展成 N 种变体。硬件加速光线追踪,生成真实场景。
Digital Nomads(数字游民 / Simulation 2.0):神经世界模型(视频扩散模型)。基于机器人实验室数据微调,能生成软体、流体、反事实场景(如机器人弹尤克里里)。机器人可以在“梦境多宇宙”中自由漫游,压缩互联网视频成海量模拟数据。
具身缩放定律
从 Simulation 1.0(经典物理引擎,手工搭建,速度快但多样性差)进化到 Simulation 2.0(神经模型,随算力指数级增长)。
结合 VLAM(Visual Language Action Models):输入像素 + 指令,输出动作控制。
Nvidia 开源 Groot N1 模型(GTC 发布)已能实现多机器人协作、复杂抓取等。Jim Fan 强调:模型会继续开源,让物理 AI 民主化。核心公式感:“买得越多,说得越多,省得越多”(更多模拟数据 → 更好性能)。
未来愿景
核心观点:软件操控原子的新接口,机器人从专用到通用,体力劳动被取代。
对于物理接口方面
Jim Fan:
"Just like LLM API, moving around chunks of digits of bits, the physical API moves around chunks of atoms. You basically give your software a physical actuator to change the physical world."
“就像 LLM API 移动比特块一样,物理 API 移动原子块。你基本上给你的软件一个物理执行器来改变物理世界。”
并且他还引用了一句Jensen名言:“一切会移动的东西都将实现自主。”
对于后果
Jim Fan:
"It fades into the background and you wouldn't even notice the moment that we pass the physical turing test and that day will simply be remembered as another Tuesday."
“(机器人)最终“隐形”成环境智能,以至于我们在通过物理图灵测试的那一刻,你甚至不会察觉。而那天,也只会被当作又一个平凡的星期二。”
总结
这个演讲不只是技术分享,更是 Nvidia 对具身 AI 的完整路线图:现实数据瓶颈 → 大规模模拟 → 神经世界模型 → 物理 API。Jim Fan 用幽默 + 硬核技术结合,讲得非常清晰易懂。
如果你对 Nvidia Omniverse、Groot 模型或 AGI 物理落地感兴趣,这绝对是必看视频!Sequoia Capital 的 Substack 也有配套文章(Inference),可以搭配阅读加深理解。
