把握具身强化学习前沿动态，四篇论文带你解锁智能体学习挑战

本文为大家整理了具身强化学习领域的4篇前沿论文，这四篇论文聚焦于自主智能体与机器人学习领域的核心挑战，围绕环境构建、多模态学习、奖励设计、零样本泛化等关键方向展开创新，推动智能体从孤立任务向开放世界的复杂场景跨越。

MineDojo: 

利用互联网规模知识

构建开放式具身智能体

自主智能体已在Atari游戏取得了长足进展。然而，它们通常在孤立的环境中从零开始学习，目标有限且有人工设定，因而难以在更广泛的任务和能力上实现泛化。

受人类在开放世界中持续学习与适应的方式启发，这篇文章提出了构建通用智能体应具备的三大要素：能支持多种任务与目标的环境、大规模多模态知识库、灵活且可扩展的智能体架构。

这篇文章推出MineDojo，一个基于热门游戏Minecraft的新框架，包括数千个多样化的开放式任务仿真套件，以及覆盖 Minecraft 视频、教程、维基页面与论坛讨论的互联网级知识库。

利用 MineDojo 的数据，我们提出了一种新的智能体学习算法，将大型预训练的视频‑语言模型作为学习到的奖励函数。该智能体无需任何手工设计的稠密塑形奖励，即可完成以自由形式语言指定的多种开放式任务。

论文链接：https://arxiv.org/abs/2206.08853

项目网站：https://minedojo.org/

代码地址：https://github.com/MineDojo/MineDojo

（复制到浏览器打开，或点击阅读原文查看）

VoxPoser: 用于机器人可操作的可组合三维价值图与语言模型结合的方法

这篇文章提出了一种名叫VoxPoser的新方法，它让机器人听懂自然语言指令，然后直接生成动作，不需要提前学会每一个具体动作。

VoxPoser是一种将大语言模型（LLM）与视觉-语言模型（VLM）相结合、以零样本方式合成任意日常操控轨迹的框架。其核心思想是：用 LLM 将开放集的自然语言指令解析为任务相关的“3D 价值图”，即对机器人观测空间中的每个体素赋予吸引/排斥/旋转/速度等语义值；随后在该图上运行基于模型的运动规划（MPC），以 5 Hz 频率闭环生成 6-DoF 末端执行器轨迹，无需针对特定任务收集数据或微调模型。

VoxPoser 通过“语言→3D 价值图→闭环 MPC”的范式，首次在开放场景下实现了无需任务特定训练的自然语言操控，兼具零样本泛化、实时鲁棒执行与在线快速适应的能力。

论文链接：https://arxiv.org/abs/2307.05973

代码地址：https://github.com/huangwl18/VoxPoser

论文的中文解读：https://zhuanlan.zhihu.com/p/651670658

（复制到浏览器打开，或点击阅读原文查看）

RoboVerse: 为可扩展、可通用的机器人学习建立统一平台、数据集和基准

文章介绍了一个名为RoboVerse的综合框架。RoboVerse由一个灵活的仿真平台、一个大规模的合成数据集和一套统一的基准测试组成。

该框架的核心是METASIM基础设施，它能够将不同的仿真环境抽象化，实现跨仿真器的无缝集成、混合仿真以及跨形态的数据迁移，极大地提高了数据的可扩展性和多样性。

此外，RoboVerse还提供了强大的数据增强和随机化方法，进一步丰富了数据集，使其包含超过1000种多样化任务和超过1000万的状态转换。

这项工作不仅提供了一个统一的平台来整合多种仿真器，还通过大规模数据迁移和数据增强技术，构建了目前最大且最多样化的高保真合成数据集。

此外，RoboVerse还提出了统一的模仿学习和强化学习基准，使得不同泛化水平的评估成为可能。这些基准测试能够帮助研究人员更准确地评估和比较不同机器人学习算法的性能。

RoboVerse的主要贡献在于，它为机器人学习提供了一个强大的、可扩展的仿真平台和大规模、高质量的合成数据集。这些资源有助于推动机器人技术的发展，特别是在提高模型泛化能力和仿真到现实转移方面。

通过在RoboVerse数据集上微调模型，研究人员能够在真实世界场景中成功操纵未见过的物体，展示了系统的鲁棒性和泛化能力。总的来说，RoboVerse为机器人学习领域提供了一个标准化的评估和训练工具，有助于促进不同方法之间的公平比较和进一步的研究。

项目链接：https://roboverseorg.github.io/

• https://zhuanlan.zhihu.com/p/1893492325512098827

• https://zhuanlan.zhihu.com/p/1903414585681253272

（复制到浏览器打开，或点击阅读原文查看）

PBRS: 基于潜力的奖励函数在类人机器人行走学习中的基准测试

在开发有效的强化学习（RL）管道时，设计和调优奖励函数通常是主要挑战。设计良好的塑造奖励可以显著加快学习速度。然而，如果奖励函数设计得过于简单，可能会与期望的行为相冲突，如果未经过适当调优，甚至可能导致过拟合或行为不稳定。

理论上，基于势能的奖励塑造（PBRS）这一广泛类别的奖励函数可引导学习过程而不影响最优策略。

尽管已有研究探索了利用PBRS加速学习收敛，但大多数研究仅限于网格世界和低维系统，而机器人领域的RL主要依赖于标准形式的奖励塑造。

本文通过对类人机器人进行实验，对比了标准形式的奖励塑造与PBRS的性能。我们发现，在这一高维系统中，PBRS在收敛速度上的优势仅为 marginal。然而，PBRS的奖励项相较于典型奖励塑造方法具有显著更强的可扩展性，因此更易于调优。

项目链接：

https://github.com/se-hwan/pbrs-humanoid

（复制到浏览器打开，或点击阅读原文查看）

GradMotion复现

Isaac GYM:preview-4 | Python:3.8.20 | PyTorch:

2.4.1 | Ubuntu 20.04.5 LTS | Cuda:12.1

Git配置

代码地址: https://github.com/se-hwan/pbrs-humanoid  

分支/Branch  dev

启动指令