无人机视觉语言动作模型补上三维几何:GRID在TravelUAV三个划分上成功率均居首,总体升至48.2%
核心概要
长航程无人机视觉语言动作模型此前把深度图直接当特征输入,在TravelUAV上成功率几乎不变(42.5%对42.6%)。GRID把单目深度沿视线反投影成机体系三维坐标,并在训练时让视觉特征对齐冻结的多视角几何模型,推理只多一次深度前向。在3,005个测试回合上,GRID总体成功率从AeroVLA的41.7%升到48.2%,三个划分均为最佳,未见地图相对提升25.4%。
深度剖析
长航程空中导航中,把深度作为额外特征喂给策略几乎不改变成功率,而把同一深度抬升为三维位置才带来提升。 此前AutoFly在平均约107米的短航线上报告深度特征带来3.9个百分点的成功率增益,TravelUAV航线平均256米、最长1.1公里。 在TravelUAV上,经空中视角微调的深度经AutoFly式共享投影器输入后成功率为42.5%,无深度基线为42.6%,除未见地图的Hard航线外各划分均无显著差异。
显式三维抬升与隐式几何对齐在飞行不同阶段失效,GRID把两者合并后分别压低各自的主要失效。 只用隐式对齐的模型更常到不了目标,只用显式抬升的模型更常到了目标却完不成任务。 在未见地图上,显式模型到达目标的比例为69.4%、隐式模型为61.5%,而到达后完成率显式模型为57.7%、隐式模型为62.3%;GRID到达率比隐式模型高8.0个百分点,完成率比显式模型高3.7个百分点。
GRID在TravelUAV全部测试划分上取得最高成功率,且测试时只用前视和下视两台RGB相机。 对比对象是AeroVLA等依赖二维图像编码器、没有三维接地的无人机视觉语言动作模型。 在3,005个测试回合上总体成功率由41.7%升至48.2%,相对增益在已见环境为9.5%、未见物体为17.1%、未见地图为25.4%,未见地图Hard航线由26.7%升至39.8%。
启示与展望
全部实验在TravelUAV仿真基准上完成,测试时仅使用前视与下视RGB相机,策略输出前向、垂直与偏航指令或降落。评估只覆盖TravelUAV这一长航程基准,因为短航线基准无法检验所研究的长航程失效。
所有结果来自仿真,尚未验证对真实传感器噪声、风和光照变化的适应。每个策略只训练一次,重复评估与配对检验只覆盖评估噪声而非训练方差。停错位置仍占各模型16%至17%的回合,GRID也比显式模型略更常迷航(3.8%对2.6%)。
