具身智能领域4篇里程碑式研究,一文速览!

机器人任务规划和大语言模型应用
生成式智能体模拟人类行为
具身智能和大语言模型
人工智能与医疗领域
SayPlan:利用3D场景图实现大语言模型的
地面推理与可扩展机器人任务规划

SayPlan 是一种面向机器人的任务规划方法,它结合了大型语言模型(LLM)和传统路径规划技术,以实现高效、可靠的大规模任务规划。其核心特点包括:
利用3D场景图的层次结构:通过3D场景图(3DSG)捕捉环境的语义信息,并借助其层次结构,使LLM能够快速定位与任务相关的子图,大幅减少所需处理的信息量,提升规划效率。
融合经典路径规划器:SayPlan 将LLM的高层语义推理与经典路径规划器的局部路径搜索能力相结合,既保持了语义理解的灵活性,也提高了底层路径规划的效率和可行性。
迭代重规划机制:通过场景图模拟器反馈对初始计划进行多轮修正,及时调整不可行的动作,避免规划失败,增强系统的鲁棒性和成功率。
该方法已在包含多层楼、多房间和大规模物体的大环境中验证有效性,能够依据抽象自然语言指令,实现移动操作机器人的长期、复杂任务规划。
论文链接:
https://arxiv.org/pdf/2307.06135.pdf
生成式智能体:人类行为的交互式模拟

该论文由斯坦福大学与谷歌联合研发,核心是用 “大语言模型 + 结构化记忆管理” 构建能模拟可信人类行为的生成式智能体,解决传统智能体长期行为不一致、社交互动弱的问题。
技术上,核心架构含三大模块:
记忆流以自然语言时序存储智能体所有经历(如对话、行动、环境反馈),支持基于相关性与时间衰减的检索;
反思机制通过 “关键记忆聚类→生成推论 prompt→LLM 输出高层结论”(如从多次协作经历推断 “合作关系”),压缩冗余记忆并强化行为逻辑;
规划机制基于反思结果,先生成长期目标(如 “办情人节派对”),再递归拆解为短期行动序列(邀好友、定场地、确认时间),且行动会随环境动态调整。
实验在 “Smallville” 虚拟沙盒部署 25 个带独特背景(职业、性格)的智能体,结果显示:智能体能自主发起活动并协调群体参与,还能通过记忆检索维持社交关系一致性,验证了架构在行为连贯性与社交互动性上的有效性。
该技术为游戏高交互 NPC、社交模拟工具提供核心框架,推动 AI 模拟人类复杂行为的落地。
论文链接:
https://arxiv.org/abs/2304.03442
代码地址:
https://github.com/joonspk-research/generative_agents
Voyager:基于大语言模型的开放式具身
智能体

该论文由英伟达等机构研发,核心是提出 Minecraft 中首个 LLM 驱动的开放式具身智能体 Voyager,技术核心依赖三大模块:
自动课程:基于 GPT-4,结合智能体当前状态、历史任务(成功 / 失败)生成渐进式任务,约束行为多样性,指引探索方向;
技能库:以可执行代码存储任务所需动作程序,用描述嵌入索引,支持通过任务计划与环境反馈快速查询调用;
迭代提示机制:执行程序后,将 Minecraft 观察结果、代码错误等反馈回 GPT-4,循环优化程序,直至自验证模块确认任务完成。
实验显示,Voyager 获独特项目数超 SOTA 3.3 倍,关键技术解锁速度快 15.3 倍,验证其开放式学习与泛化能力。
论文链接:
https://arxiv.org/pdf/2305.16291
代码地址:
https://github.com/MineDojo/Voyager
Agent Hospital:面向医疗语言智能体的
病人症状模拟系统

论文构建了虚拟医院 Agent Hospital,模拟医院内的医疗过程,包括分诊、挂号、会诊、检查、诊断、治疗、随访等流程。
该环境中有两类 Agent,分别是居民(潜在患者)和医疗专业人员。患者 Agent 负责模拟疾病发作到康复的过程,医生 Agent 则负责疾病诊断和治疗计划的制定。
MedAgent-Zero 训练策略:
医学记录库:用于整理并存储诊疗成功的案例,医生 Agent 可以从成功病例中积累记录,将其作为后续医疗干预的参考。
经验库:当医生 Agent 在诊疗过程中回答错误时,会主动进行错误反思,总结经验教训并存储在经验库中。如果这些经验教训能够帮助智能体在后续答对相关问题,就会被保留下来。通过这种方式,医生 Agent 可以从失败案例中反思教训,不断提升自己的诊疗能力。
Retrieval 策略:医生 Agent 在诊断新的患者时,会同时利用医学记录库和经验库,通过 Retrieval 策略将收集到的经验和总结用于疾病诊断,从而做出更好的医疗决策。
论文链接:
https://arxiv.org/pdf/2405.02957v1.pdf
代码地址:
https://github.com/LibertFan/AI_Hospital
