全景解读：从触觉数据到生成式仿真，机器人灵巧手是如何炼成的？
FreeTacMan：一种用于接触密集型
操作的机器人无约束视觉-触觉数据采集系统
FreeTacMan系统旨在构建一个以人为中心的高保真视觉-触觉数据采集平台，以解决接触密集型操作任务的数据获取难题。
创新的硬件与数据采集系统，系统设计围绕高保真与人性化两大原则。硬件上，它采用自主研制的光学式触觉传感器，具备高分辨率、低成本及模块化特点，可快速适配不同末端执行器。
最关键的是其可穿戴夹爪系统，传感器直接安装于人类指尖，结合高精度线性传动机构（轴向偏差≤0.02mm）和光学位姿追踪，实现了原位触觉反馈与精准动作捕捉的同步，确保了所采集数据的真实性与时空对齐精度。
驱动策略学习的数据集与算法，系统采集视觉、触觉、位姿等多模态数据，构建了涵盖USB插入、书写等复杂任务的数据集。
在策略学习层面，研究采用基于Transformer的模仿学习算法，并引入触觉预训练方法，旨在学习视觉与触觉模态间的共享嵌入表征。
实验证明，利用此数据集训练的策略在接触密集型任务上的成功率平均提升超过50%，显著增强了机器人对接触动态的理解与操作能力。
论文链接：
https://arxiv.org/abs/2506.01941
项目主页：
https://opendrivelab.com/FreeTacMan
代码链接：
https://github.com/OpenDriveLab/FreeTacMan
ScaleADFG：
基于可扩展数据集的功能感知灵巧抓取
ScaleADFG研究提出了一种通过规模化数据驱动解决灵巧手功能性抓取泛化问题的新范式。
该工作聚焦机器人手与人物体尺寸不匹配、日常工具尺度多样性强两大挑战，构建了全自动数据合成流水线（支持多类别、多尺度抓取配置生成）和轻量级抓取生成网络（无需后处理即可实现零样本真实迁移），显著提升了抓取系统的适应性、稳定性和任务泛化能力。
基于此，以下是可以进一步探索和创新的研究方向：
提升数据集的功能复杂性与规模
将数据构建流水线从现有的工具使用抓取扩展到更复杂的、多步任务序列（例如，抓住工具后的操作动作）或包含非刚性/多样化工具的新类别。
优化网络效率与动态抓取执行
进一步压缩轻量级网络以实现边缘计算和更高实时性。
研究动态抓取生成策略，使其不仅输出静态位姿，还能在抓取过程中进行鲁棒的、动态的手指调整，超越现有单阶段静态生成模式。
深化零样本泛化与跨域鲁棒性
专门测试并提升网络对极端陌生物体（训练中未见的形状或功能）的零样本迁移能力。同时，优化仿真到现实（Sim-to-Real）的适应性，确保网络在面对真实世界的噪声和材质差异时更加可靠。
论文链接：
https://arxiv.org/abs/2511.09602
灵巧抓取合成的对抗性博弈论算法
针对多指手抓取稳定性不足的问题，提出创新方法SPIDER。其核心突破在于将抓取生成建模为双人博弈：机器人玩家生成可行抓取配置，而物体玩家则模拟最具对抗性的逃逸运动，迫使算法主动抵抗最不利情况。
未来研究可沿三个方向深化对抗性博弈在灵巧抓取中的应用：
提升博弈模型的动态与复杂程度，从静态配置生成转向抓取执行中的连续动态博弈，并引入多目标约束与感知不确定性，使模型能应对实时干扰与噪声。
将博弈框架扩展到下游任务，对功能性操作（如拧螺丝）进行对抗性建模，并研究抓取策略在新灵巧手平台上的零样本迁移。
优化算法效率与可解释性，探索深度学习加速博弈求解，设计“逃逸潜力”等量化指标以评估抓取鲁棒性，并利用该框架生成大规模对抗性标注数据集，赋能数据驱动方法。
论文链接：
https://arxiv.org/abs/2511.05809
GenDexHand：面向灵巧手的生成式仿真
该论文提出GenDexHand框架，核心旨在通过生成式仿真解决灵巧操作中的数据瓶颈。其创新点在于构建了LLM与VLM的闭环协同系统。
由LLM根据语义指令生成仿真场景参数，VLM负责对渲染结果进行视觉与物理校验，二者迭代优化以实现自动化、可扩展的高质量数据生成。
可在GenDexHand基础上提出多维度深化路径：
在场景生成层面，引入物理模拟器校验机制增强交互合理性，并融合高真实感纹理与材质生成以缩小仿真鸿沟。
在策略学习层面，将语义生成与域随机化结合提升抗干扰能力，并探索跨手型、跨任务的通用策略表示方法。
在人机协同层面，构建主动学习框架优化生成效率，并引入实时人类反馈循环提升生成质量与任务适配性。这些方向共同推动生成式仿真向物理真实、策略鲁棒和人机融合的新阶段演进。
论文链接：
https://arxiv.org/abs/2511.01791