跳到主要内容
返回时间线
arXiv来源发表:

机器人先规划再出发:PreNav用扩散模型一次生成搜索参考,生成耗时从25.7秒降到约1秒

核心概要

在墙体和大件家具基本不动、小物件会挪位的半静态室内环境里,PreNav 不再让机器人在导航途中反复调用视觉语言模型决定去哪找,而是在出发前一次性生成整条搜索参考:大语言模型给出目标与家具的共现先验,条件扩散模型把先验、墙体栅格和起点位姿变成一条带搜索带宽的有序中心线。在 Gibson ObjectNav 六类子集上,使用相同墙体与五类家具先验时,PreNav 的成功率为 64.3%、SPL 为 39.2%,高于 SGM 的 62.0% 和 36.2%;生成器只在房间级 ScanNet++ 上训练,未在 Gibson 上微调。

Source-provided article image: Decide Before You Move: Diffusion-Generated Search Reference for Zero-Shot Open-Vocabulary Object Navigation in Semi-Static Environments
arXiv

深度剖析

机器人把“去哪找、按什么顺序找”从导航过程中的逐步决策,改成出发前一次性算好的全局搜索参考,导航途中只负责在线检测目标并靠近。 此前的先验地图方法按建图时记录的目标位姿回答查询,物体一挪位这些位姿就失效;无地图方法则每隔几步从当前观测重新推断候选区域,往往要反复调用视觉语言模型。 在 Gibson ObjectNav 六类子集、相同墙体与五类家具先验下,PreNav 的成功率为 64.3%、SPL 为 39.2%,SGM 为 62.0% 和 36.2%;把场景中未标注的家具也补成二维框后,PreNav 成功率再升 6.0%、SPL 升 0.6%。

搜索参考由两部分拼成:大语言模型只离线给目标与各类家具的共现打分,扩散模型再把这份打分铺到已知家具上,生成一条带宽度带的有序中心线。 共现分数是生成器唯一随查询变化的输入,因此换一个查询只需重跑一次打分,不必重新训练生成器。 生成器只在 ScanNet++ 的 83 个房间级场景上训练(75 个训练、8 个验证),直接用于 Gibson 楼层级场景;与用旅行商问题求解器生成的教师参考相比,扩散生成平均耗时 0.995 秒、P95 为 1.029 秒,教师为 25.705 秒和 169.893 秒,六类子集上成功率低 0.7%、SPL 高 0.2%。

启示与展望

演示范围是 Gibson v1.1 五个验证场景的 ObjectNav 基准(六类子集 600 回合、十类共 1000 回合,500 步动作预算),以及一台搭载 RealSense D435i 与 SAM 3 检测器的 Fetch 机器人在 200 平方米以上实验室中的 15 次开放词汇试验;方法假设目标位于家具上或附近。

方法假设目标在家具上或附近,放在空旷地面上的物体会落在搜索带之外而找不到,真机试验中放在地板上的四足机器人就是这样失败的;十类基准上加入全场景家具先验后成功率再升 0.3%,但 SPL 下降 0.8%,说明多找到一些目标的同时路线略长;book、bottle、clock、cup 四类受检测而非搜索限制,其中 3DSG 标注与成功判定所用的俯视语义地图在类别层面并不一致。