**✨导读：**日常人类找物指令自带房间、区域、物体属性多层约束，传统机器人导航只能识别单一物品类别。全新SAP-Nav不靠预训练、离线地图，用主动感知在线搭建空间语义地图+动态调优观测视角，仿真基准全线刷新性能，实体四足机器人实测落地可用！

• 作者：Xuetong Pei, Jian Liu, Vidura Munasinghe, Bo Miao, U-Xuan Tan, Wenrui Ding, Na Zhao
• 单位：北京航空航天大学，新加坡科技设计大学，阿德莱德大学人工智能与机器学习实验室
• 论文标题：SAP-Nav: Spatial Semantic Representation Meets Active Perception for Hierarchical Open-Vocabulary Object Navigation
• 论文链接：https://arxiv.org/abs/2608.12707v1
• 项目主页：https://xuetongpei.github.io/SAP-Nav/

🔍研究背景：传统机器人导航根本读不懂人类的复杂指令

老式OVON导航，能力局限拉满

常规开放词汇物体导航（OVON）仅支持单一层级指令，任务标准只是找到任意同类物品。

但我们生活里的指令远比这复杂：比如「带白色装饰壁炉的客厅里，那张黑色玻璃台面咖啡桌」，同时包含房间、区域、物体属性三重限制，老式算法完全无法适配。

分层OVON新任务，两大硬性视觉需求

LangMap基准正式定义分层OVON，把指令划分为4个粒度层级：

• 场景级：仅说明物品大类（找咖啡桌）
• 房间级：限定物品所在房间（客厅的咖啡桌）
• 区域级：区分同类型多个房间（1号客厅的咖啡桌）
• 实例级：用独有属性锁定唯一物品（带白色壁炉客厅的黑玻璃咖啡桌）

想要完成任务，机器人必须同时拿到两类视觉证据：

• 全局空间语义信息：分清不同房间、匹配房间区域约束；
• 清晰无遮挡的目标画面：避开遮挡、刁钻角度，精准核对物体颜色/外形属性。

现有方案三大致命短板

• 离线3D扫描方案：依赖提前建好的完整场景地图，完全没法在全新未知环境在线使用；
• 被动观测类算法：只收集赶路途中偶然拍到的画面，视角片面、信息残缺，容易漏判房间；
• 静态目标校验逻辑：发现疑似物品直接校验，遇上遮挡、模糊画面极易认错目标，没有调整视角的能力。

简单说：现有方法既没法在线搭建带房间信息的语义地图，也不会主动找更好的观测角度，很难搞定分层寻物任务。

💡四大核心贡献，一次解决分层导航痛点

1. 通用零训练框架SAP-Nav✨： 业内首个面向分层OVON的全在线零样本方案，不用针对导航任务专项训练、不用预存场景地图，同时兼容传统单层物体导航任务。
2. QSSR可查询空间语义表征模块🗺️： 结合在线房间分割+主动拍摄全屋全景快照，显式记录每个房间的语义类型，轻松区分多个一模一样的房间，任意已探索区域都能快速查询房间信息。
3. AVV闭环主动视角校验模块👀： 自动判断当前画面清晰度，画面信息不足时主动规划最优观测点位，绕开遮挡与差视角，大幅降低物体属性校验的误判概率。
4. 仿真+真机双重验证落地✅： 在LangMap、HM3D-OVON两大权威仿真基准拿下最优性能；基于四足机器人完成真实室内环境实测，证明方案可直接落地实体机器人。

🛠️研究方法：两大核心模块配合，完成分层寻物全流程

整体工作逻辑：机器人靠视觉语言边界探索遍历环境，同步在线构建QSSR空间语义地图；拍到疑似物品先查询QSSR，核对房间/区域约束，匹配成功才进入AVV做细粒度实例校验；校验失败就把该物品拉黑，重新出发探索。

模块一：QSSR 可查询空间语义表征（三层递进搭建）

混合结构 = BEV空间语义网格 + 房间全景快照视觉库，分三阶段逐步完善。

1.  在线房间几何分割

把房门当作房间天然分界线，持续累积多帧门轮廓观测，把机器人能走的空白区域划分成独立房间，先搭建好场景空间分区骨架。

2.  主动房间全景感知

为每一间房间主动拍摄完整全景快照，送入VLM预测房间类型集合，三种场景自动触发拍摄：

• 任务开局：起始房间初始全景作为基准快照；
• 第一次进入新房间：对准房门内侧原地旋转，拼接完整房间全景；
• 房间探索范围大幅扩张：针对新解锁区域中心，补充更新全景画面。

房间语义预测公式：

3.  子房间语义细化优化

大开间容易出现多个功能区合并分割的问题，在BEV网格构建房间类型概率场： 单帧画面切块送入场景编码器预测房间类别，再反投影到BEV网格，时序累积所有观测证据，区分同一个房间里的客厅、办公区等不同功能区域。

4. 空间语义查询机制

检测到候选物品后，提取物品投影覆盖的网格区域，查询对应房间类型：

如果指令附带区域描述，再调取房间全景快照做视觉问答VQA，确认区域是否匹配。

模块二：AVV 闭环主动视角校验（三步精准核验物品）

候选物品通过房间约束校验后，启动视角优化闭环，分充足度评估、最优视角选择、目标核验三步运行。

1. 画面充足度评估

从物品可见度、拍摄视角两个维度打分（1-5分），总分区间，设置判定阈值：

• ：当前画面遮挡/角度太差，自动执行视角重规划；
• ：画面信息充足，直接开展目标校验。

2. 最优观测视角采样筛选

以物品中心点为圆心，多层同心圆均匀采样候选机器人位姿：

半径，一圈均匀采样个角度。

两层硬性过滤规则：

• 候选点位必须在机器人可通行、已探索区域；
• 设置最小观测距离，防止目标跑出相机垂直视野：

借助2.5D高度地图射线检测遮挡，选出全局可视效果最好的观测点：

最多允许3次重定位尝试，若画面依旧不达标，则选用历史得分最高的画面完成校验。

3. 最终目标核验

先用LLM拆解指令，提取物品大类、颜色/外形等属性约束；再把全局场景+候选物品局部裁剪图送入VLM，同时核对类别与全部属性。校验失败就将该物品加入黑名单，机器人回到探索流程继续寻找。

📊实验结果：仿真全线SOTA，真机室内实测可行

评价指标统一采用机器人导航标准：SR任务成功率、SPL路径加权成功率（兼顾找物准确率与行走效率）。

两大仿真基准测试

1. LangMap分层OVON多粒度任务

横向对比训练型、零训练型全部主流基线，核心结论：

• SAP-Nav搭配Qwen3-VL-235B大模型，场景/房间/区域/实例4个层级指标全部登顶SOTA；
• 仅使用轻量Qwen2.5-VL-7B模型，区域层级SR相比最强训练基线PlaNaVid提升12.2%；
• 对比同类型零训练方案VLFM、3D-Mem，四层任务性能全面领先，房间、区域层级提升幅度最大。

2. HM3D-OVON传统单层物体导航

哪怕是为分层指令设计的框架，迁移到基础物体导航依旧表现亮眼：

• SAP-Nav搭载GPT-4o视觉模型，拿下所有对比方法里最高SR成功率49.7% ；
• SPL指标略低于MetaNav、NavFoM，属于合理取舍：AVV模块会主动绕路找清晰视角，牺牲一小部分路径效率，换取极高的目标识别准确率，更贴合真实机器人落地需求。

模块消融实验，验证每个组件不可替代

1. QSSR三层结构消融（房间/区域任务）

• 移除整套QSSR：性能大幅跳水，机器人完全无法识别房间、区域约束；
• 仅保留子房间细化：只靠单帧被动画面，语义判断噪声极大；
• 仅、无细分：大开间无法区分内部不同功能区；
• 完整三层结构：SR、SPL双双达到峰值。

2. AVV三大子组件消融（充足度评估SE/视角选择VS/目标校验TV）

• 去掉全部AVV：无主动调视角逻辑，模糊画面带来大量误判，整体SR仅24.5；
• 目标校验TV增益最大：显式匹配指令属性约束，大幅提升找对目标概率；
• SE+VS组合：只在画面不足时移动机器人，减少无效绕路，平衡准确率与行走效率；
• SE+VS+TV完整模块：全层级任务指标最优。

真实四足机器人落地测试

设备：绝影Lite3四足机器人，搭载RGB-D深度相机+激光雷达，远端RTX A5000工作站在线推理，Nav2负责底层避障导航。

测试场景覆盖办公室、会议室、客厅、厨房，测试指令包含房间级、实例级多层约束：

1. QSSR模块可精准区分房间类型，直接过滤掉不在目标房间的候选物品；
2. AVV自动绕开桌椅、绿植遮挡，移动到无遮挡清晰视角，稳定完成实例属性校验。

📝总结：主动感知打开分层导航新思路

方案核心亮点

SAP-Nav的设计核心逻辑：用主动感知一次性攻克分层导航两大核心难题

1. QSSR在线搭建带房间语义的空间地图，解决多房间、区域约束定位问题；
2. AVV主动调整观测视角，消除遮挡、模糊画面带来的物品校验错误。

整套框架零训练、全在线，既能适配全新的多层级语言寻物任务，也能无缝兼容传统单一物体导航。

当前局限&未来优化方向

1. 视角选择仅考量几何可视性，未兼顾画面语义信息量、机器人移动成本，后续计划做多目标联合优化；
2. 当前QSSR地图无法跨任务保存，下一步引入长期记忆模块，复用历史空间语义知识，实现更高效的终身导航；
3. 拓展动态物体、多人活动复杂室内场景适配，进一步优化家用服务机器人实用性。