LCVN把视觉导航改成开环轨迹预测:只看首帧和一句指令,就生成整段路线
核心概要
LCVN 把语言条件下的视觉导航重新表述为开环轨迹预测:智能体只拿到初始的第一视角观测和一句自然语言指令,没有目标图像,也没有中途的环境反馈,就要生成后续整段导航轨迹。配套发布的 LCVN 数据集包含 39,016 条轨迹和 117,048 条经人工核验的指令,指令分为简洁、详尽和地标锚定三种风格。模型侧给出两条互补路线:扩散式世界模型 LCVN-WM 配合在潜空间用内在奖励训练的演员—评论家智能体 LCVN-AC,以及一次前向同时预测动作与未来观测的自回归多模态架构 LCVN-Uni。
深度剖析
视觉导航被改写成一次性的开环轨迹生成任务:智能体从初始第一视角画面和一句自然语言指令出发,直接给出后续导航轨迹,过程中不再接收环境反馈,也不需要目标图像。 此前的语言条件导航通常依赖目标图像或沿途的中间环境反馈来逐步校正动作,而这里把目标图像和中间反馈都从输入中拿掉,只保留首帧观测与指令。 支撑这一设定的是 LCVN 数据集,共 39,016 条轨迹、117,048 条经人工核验的指令,覆盖多种环境和指令风格,并划分出训练、已见环境验证和未见环境验证三个部分。
模型侧给出两条互补的实现路线,一条把世界模型与策略学习分开,另一条把动作和未来观测放进同一次前向预测。 LCVN-WM 是以 LDiT(语言条件扩散 Transformer)为骨干的扩散式世界模型,按动作和语言指令想象未来的视觉状态;LCVN-AC 则是在潜空间里学习的演员—评论家智能体,其导航策略从 LCVN-WM 产生的内在 rollout 奖励中学习。 另一条路线 LCVN-Uni 采用自回归多模态骨干,在一次前向中同时预测动作和未来观测,并使用与 LCVN-WM 加 LCVN-AC 不同的独立环境。
启示与展望
公开范围是 LCVN 数据集与两条模型路线的官方实现:数据集含 39,016 条轨迹、117,048 条人工核验指令,分训练、已见环境验证和未见环境验证三部分,TartanDrive 留作未见环境评测;当前公开版本不提供单独的测试划分,评测需在验证划分上进行。
材料没有给出两条路线在已见或未见环境验证划分上的定量结果,因此开环设定下的导航表现尚无数字支撑;公开版本也不含单独的测试划分,评测只能在验证划分上进行。
