本周知识库更新：从全身遥操作到高保真容错，开源实践全解析
FLD: 基于傅里叶隐空间的结构化动作学习
项目提出了一种名为 “傅里叶潜在动力学（FLD）” 的方法，旨在解决运动轨迹数据存在的稀疏性问题 —— 即现有运动数据在覆盖不足的区域难以支撑基于物理的运动学习进行有效插值和泛化。
FLD 是一种自监督的结构化表示与生成方法，能从周期性或准周期性运动中提取时空关系。它通过构建连续参数化的潜在空间来捕捉运动动力学规律，从而增强运动学习算法的插值能力（填补不同动作间的空白）和泛化能力（适应未学过的动作）。
基于 FLD，研究团队设计了运动学习控制器。控制器需要进行两阶段训练：
第一阶段：用运动数据训练 FLD，获取能表示动作规律的 “潜在空间”。
第二阶段：用 PPO 算法训练控制器，使其能根据潜在空间的 “密码” 跟踪目标动作。
该控制器能在线跟踪多种运动，包括训练中未见过的目标动作。同时，控制器配备了 “安全机制”，当检测到有潜在风险的动作时，会自动切换到安全动作模式。
研究通过 MIT 人形机器人的实验验证了 FLD 的效果。
代码地址：
https://github.com/mit-biomimetics/fld/
论文地址：
https://arxiv.org/abs/2402.13820
项目主页：
https://sites.google.com/view/iclr2024-fld/home
中文复现指南：
https://docs.tianbot.com/advanced/isaac/isaacgym_fld.html
（复制到浏览器，或在知识库中查看）
环境镜像：
Isaac GYM:preview-4 - BJX00000001 - isaac-gym-v18
代码修改：无
1.用运动数据训练 FLD，获取能表示动作规律的 “潜在空间”
①下载代码包，上传到新建任务，启动命令行填写：
python fld-main/scripts/fld/experiment.py
直接运行
②运行完成后，将model_5000.pt , gmm.pt , statistics.pt下载保存到项目目录/fld-main/logs/flat_mit_humanoid/fld/misc中
③运行fld-main/scripts/fld/evaluation(可将项目上传到个人存储，用开发机运行)，运行后logs/flat_mit_humanoid/fld/misc 中生成 latent_params.pt
2.用 PPO 算法训练控制器，根据“潜在空间”跟踪目标动作
确认项目文件夹中logs/flat_mit_humanoid/fld/misc目录下包含model_5000.pt , gmm.pt , statistics.pt ，latent_params.pt共计4个pt文件。
新建训练任务，重新打包上传项目文件夹。
启动命令：
gm-run fld-main/scripts/train.py --task mit_humanoid --headless
本文介绍了一种名为TWIST（Teleoperated Whole-Body Imitation System，远程操作全身模仿系统）的类人机器人遥操作系统，通过三步关键方法实现机器人对人类全身动作的实时模仿。
首先构建适配机器人的动作数据集，包括两部分数据：大规模公开的人类动作捕捉数据（如AMASS、OMOMO），包含超过15,000个动作片段；以及150个小规模的室内动作捕捉数据片段，更贴近真实遥操作场景。
对公开数据采用离线重定向以保证动作质量，对室内数据采用在线重定向以满足实时性，并通过联合优化关节的3D位置与朝向，缩小离线与在线重定向的质量差距。
采用“师生框架”训练全身控制器。“教师”控制器可获取未来2秒的动作序列，通过强化学习（RL）学习流畅动作；“学生”控制器仅依赖当前动作信息，结合强化学习与行为克隆（RL+BC），在模仿“教师”动作模式的同时，通过试错优化实时反应能力，最终形成单一神经网络控制器，兼顾实时性与动作平滑性。
最后，实现真实世界遥操作部署。通过动作捕捉设备以120Hz频率采集人类动作，经在线重定向器以50Hz转换为机器人动作，再由“学生”控制器以50Hz计算关节指令，传递给机器人的高频PD控制器执行，整个过程延迟约0.9秒，使机器人能完成全身操作、腿部操作、移动及表达性动作等多样化任务，实现了类人机器人对人类全身动作的高效模仿。
论文链接：
https://arxiv.org/abs/2505.02833
项目链接：
https://yanjieze.com/TWIST/
开源代码：
https://github.com/YanjieZe/TWIST
（目前仅开源重定向部分https://github.com/YanjieZe/GMR）
中文解读：
https://blog.csdn.net/lovely_yoshino/article/details/148534457
（复制到浏览器，或在知识库中查看）
PHC 能够基于带噪声的运动数据输入，高保真（physics）且容错（能够在摔倒后恢复，无需reset）地控制人形机器人做出相应的动作。此外 PHC 针对大型的运动数据集提出了 progressive multiplicative control policy (PMCP) 模型 ，使得网络减少了学习过程中的遗忘，形成更强的运动数据先验。
最终，实现基于视频输入的实时多人运动控制（Real2Sim），以及给定关键帧后的运动序列生成（插值）。
想要持久的实时控制，控制策略必须能够处理带有噪声的运动数据输入，即考虑到人形机器人可能会摔倒、绊倒或偏离其参考运动的情况。
PHC 弃用了 RFC（residual force control），在 physcis 的角度上更近了一步。此外，PHC 的参考运动输入相对于类似工作来说更为简单，只需要知道关节点的位置，而不需要知道关节旋转。
项目网站：
https://www.zhengyiluo.com/PHC-Site/
论文链接：
https://arxiv.org/abs/2305.06456
开源代码：
https://github.com/ZhengyiLuo/PerpetualHumanoidControl
中文解读：
https://zhuanlan.zhihu.com/p/693101016
（复制到浏览器，或在知识库中查看）
本篇文章的贡献总结如下：
1.可以模仿 AMASS 数据集中 98.9% 的参考运动
2.解决了控制策略训练过程中的遗忘问题，并且解锁了新技能比如说摔倒状态下的恢复
3.PHC 提出的控制器能够和目前现成的 Pose Estimator 兼容