三分钟看懂 Mental World Modeling(上):世界模型会预测物体,却还不会“揣摩人心”

论文:Hao Fei, Yiran Zhao. Mental World Modeling, 2026
项目主页:mental-world.github.io
论文地址:arXiv:2607.27201
代码地址:mental-world/Mentis
如果把现在最热门的世界模型交给一个机器人,它可能知道杯子在哪里、门会怎样打开、人下一秒会走向哪里。
但如果杯子被别人偷偷挪走,而主人没有看见呢?
物理世界里,杯子已经在柜子里;主人的认知里,它还在桌上。此时,一个只追踪物体位置的模型会给出“场景正确、行为错误”的预测——它知道杯子在哪,却不知道主人以为杯子在哪。
这正是论文 Mental World Modeling(MWM,心智世界建模) 想补上的缺口:
世界的下一状态,不只有物体怎么移动,还包括人会相信什么、想要什么、感到什么,以及如何理解刚刚发生的事。
先说明一个容易误解的地方:这里的“心智”不是心理疾病,也不是读取意识。MWM 只想显式维护那些与行为预测有关、可由场景近似推断的隐藏变量,例如信念、目标、意图、情绪、关系和社会规范。
一、传统世界模型少算了什么?
今天常说的世界模型,大致有三类:
表征式世界模型:把环境压缩进潜在状态,再预测状态如何变化,例如 Dreamer、JEPA;
视频生成式世界模型:直接生成未来画面,例如 Sora、Genie;
3D 交互式世界模型:生成可导航、可编辑、可持续存在的三维环境。
它们的表示形式不同,但主要都在回答同一组问题:
世界里有什么?
它们在哪里?
受到动作影响后,物体、空间和画面会怎么变化?
这些问题很重要,却不足以预测人类行为。因为人的下一步动作不仅由“真实世界”决定,还由“他所理解的世界”决定。

图源:论文 Figure 2。上方模型只追踪物体,知道杯子已经进了柜子,于是预测主人会直接去柜子取杯;下方模型还追踪主人的错误信念,因此预测她仍会在原来的桌面寻找。
这个例子揭示了两个对称事实:
只看物理状态不够。 同一房间、同一物体布局下,两个人可能因为信念不同而采取不同动作。
只看心理标签也不够。 即使目标相同,物体是否可见、道路是否被挡、手里是否拿着东西,也会改变可执行的动作。
所以 MWM 的核心不是把“心理分析”外挂到传统世界模型后面,而是从一开始就把世界写成一个耦合状态:
$$
s_t=\left(s_t^{\mathrm{phy}},;s_t^{\mathrm{ment}}\right)
$$其中:
$s_t^{\mathrm{phy}}$ 是物理状态:物体、人物、位置、遮挡、接触关系、光线、声音等;
$s_t^{\mathrm{ment}}$ 是心智—社会状态:信念、注意、目标、意图、情绪、偏好、规范、角色关系和群体氛围等。
真正需要预测的,也不再只是下一帧画面,而是:
$$
s_{t+1}=\left(s_{t+1}^{\mathrm{phy}},;s_{t+1}^{\mathrm{ment}}\right)
$$一句话概括:物理状态决定“能发生什么”,心智状态决定“同一件事意味着什么”。
二、全知模拟器与局部行动者
MWM 做了一个非常关键的角色拆分。
1. 世界模型:第三人称的“全局模拟器”
世界模型维护比任何单个人都更完整的全局状态。它可能知道杯子的真实位置、谁移动了杯子、谁看见了这一幕,也记录每个人当前的信念与目标。
这里的“全知”是建模角色,不是说系统在现实中真的无所不知。它仍然只能根据输入近似推断,而且这些推断可能出错。
2. 目标智能体:第一人称的“局部行动者”
目标人物不能直接读取全局状态,而只能得到为他生成的局部观察:
$$
o_t^{\epsilon}=\left(o_t^{\epsilon,\mathrm{phy}},;o_t^{\epsilon,\mathrm{ment}}\right)
$$其中 $\epsilon$ 表示当前要预测的目标人物。
这份观察包含两部分:
他确实能看见、听见或记得的物理信息;
他对自己和他人的心智推断,包括可能错误或不完整的信念。
这一步可以理解成:先把第三人称世界“渲染”为某个人眼中的世界,再让这个人行动。
因此,MWM 不允许模型把叙述者知道的所有事实偷偷塞给目标人物。如果主人没有看见杯子被挪走,目标观察里就不能出现“杯子在柜子里”。论文把这类错误称为 perspective leakage(视角泄漏)。
三、动作也有两层:做了什么,以及这意味着什么
传统控制系统往往把动作理解成位移、抓取、开门或说出一句话。MWM 进一步把动作拆成:
$$
a_t^{\epsilon}=\left(a_t^{\epsilon,\mathrm{phy}},;a_t^{\epsilon,\mathrm{ment}}\right)
$$物理动作 $a_t^{\epsilon,\mathrm{phy}}$:说话、靠近、递出杯子、指向房门;
心智动作 $a_t^{\epsilon,\mathrm{ment}}$:安慰、道歉、欺骗、拒绝、提醒、施压。
同一句“没关系”,可能是真诚安慰,也可能是敷衍;同一个递杯动作,可能是照顾、赔礼、服从,也可能是迫使对方接受。动作的物理载体相同,社会含义却可能完全不同。
反过来,“安慰”也不只有一种物理实现:可以说话、拥抱、靠近,也可以只是安静地陪伴。
因此,下一状态必须由两个通道共同更新:
物理通道预测物体、人物与环境如何变化;
心智通道预测信念、情绪、意图、关系与规范状态如何变化。
而且两条通道不能各算各的。一个人的目标会影响他接下来是否移动;一句话带来的情绪变化,也依赖说话方式、人物关系和当时的场景。
四、什么时候值得用 MWM?
论文没有宣称所有任务都需要“揣摩人心”。它给出了三个同时成立时最值得使用 MWM 的条件:
条件 | 通俗解释 | 例子 |
|---|---|---|
部分可观测 | 真实世界与目标人物所见不同 | 杯子被挪走,但主人没看到 |
心智变量改变决策 | 信念、目标、信任或规范会改变合理动作 | 老人拒绝提醒,可能不是没听见,而是不想失去自主感 |
动作具有社会含义 | 同一个物理动作会被理解为不同意图 | 递杯子可能是帮助,也可能是施压 |
如果任务只是让机械臂抓起一个明确可见的杯子,普通物理世界模型可能已经足够。但如果机器人要判断“现在把杯子递过去是否合适”,它就需要考虑对方是否注意到、是否需要帮助、是否愿意接受,以及这个动作会不会显得唐突。
论文由此提出了几类典型应用:
人机协作:不仅规划任务进度,也维护注意、承诺和共同知识;
照护与辅助:显式表示理解程度、信任、焦虑、同意和自主quan;
教育:预测一次解释会怎样改变知识、信心、动机与继续尝试的意愿;
数字人和游戏角色:让角色持续记住承诺、秘密、关系与规范,而不只是维持外观连续。
五、这篇论文真正新在哪里?
“让 AI 理解人的信念和意图”并不是新话题。Theory of Mind、BDI 智能体、情感计算和社交推理基准早已研究多年。
MWM 的推进在于:它不再把心智推断当作一道静态问答题,而是把它放回世界模型的动态循环里。
过去常见的问题是:
Alice 认为杯子在哪里?
MWM 更关心的是:
Alice 当前看到了什么?她可能采取哪些动作?每个动作会怎样同时改变杯子的位置、Bob 的信念、Alice 的情绪和两人的关系?
从“猜一个心理答案”变成“模拟物理—心智联合状态的变化”,这是论文最重要的概念升级。
上篇小结
Mental World Modeling 的一句话版本是:
不要只预测世界接下来会变成什么样,还要预测世界中的人会怎样理解这一变化。
它把世界拆成物理状态和心智状态,把目标人物限制在自己的局部观察中,再把动作拆成物理载体与社会含义,最终模拟两种状态如何共同变化。
理论听起来很漂亮,但它怎样落到可运行系统?模型真的因此更会预测人的下一步动作吗?
下篇我们进入论文的工程核心 MENTIS:看它如何把一次选择题拆成六个可检查阶段,为六个候选动作分别“脑补未来”,以及实验为什么把最大瓶颈锁定在状态转移模拟。