跳到主要内容
返回时间线
arXiv来源发表:

无人机听口令飞行不再只靠动作预测:完整系统在521个闭环回合里把安全到达率提到76.6%

核心概要

面向无人机视觉语言导航的世界-动作策略把语言响应、任务进度与避障放进同一个控制回路。此前的世界-动作模型主要做动作预测,难以跟踪多阶段指令并判断何时停止。完整系统在521个闭环回合的测试集上取得83.7%到达成功率、79.8%有序完成率和76.6%安全飞行成功率,并完成六次室内外实飞。

Source-provided article image: Fly as Instructed: Refining World-Action Policies for UAV Vision-Language Navigation
arXiv

深度剖析

无人机视觉语言导航的策略不再只预测动作,而是同时跟踪指令执行到哪一步、并在全部要求完成后自行发出停止指令。 此前的世界-动作模型主要聚焦动作预测,缺少对多阶段指令完成情况的持续跟踪和终止判断。 在统一的521回合闭环测试集上,完整系统到达成功率83.7%、正确停止77.0%、有序完成79.8%、安全飞行成功率76.6%,而外部参照中最强的WorldVLN分别为45.3%、31.5%、34.7%和30.3%。

动作专家通过文本交叉注意力读取指令,并在保留预训练条件模块的前提下做针对性后训练,使动作随指令语义变化。 仅靠视觉线索的动作策略在指令改变时可能沿用旧动作,因此需要让语言直接参与动作生成。 在500条单条指令上指令成功率为80.6%,比该指标最强的WorldVLN高38.4个百分点;在500对语义对比指令上为56.4%,比Pi0-UAV高35.6个百分点。

一个循环的指令消耗头根据视觉与执行历史预测哪些子句已完成,并在冻结的执行器内持续降低已完成词元的注意力权重。 把完整指令一直留在上下文里时,策略无法区分哪些要求已经满足,有序完成率只有24.1%且从不主动停止。 在170个进度回合上,软掩码取得81.2%有序完成率和77.1%停止成功率,硬切换为70.0%和61.2%,去掉GRU记忆后降到57.6%和49.4%。

避障能力通过在重建的高斯场景中后训练低秩适配器获得,训练信号来自成功绕行轨迹的模仿和可微的几何反馈。 基础策略在安全子集上的安全飞行成功率只有30.6%,碰撞率64.1%。 加入安全适配器后,170个安全回合的安全飞行成功率升到78.2%、碰撞率降到17.1%,同时181个通用任务的到达保持率从76.8%变为76.2%。

启示与展望

评估覆盖521个闭环仿真回合,分为181个通用任务、170个安全任务和170个进度任务,测试实例或布局与训练配置不同;另有六次室内外实飞,每次任务各一段记录,在RTX 5070上以10 Hz轨迹更新、50 Hz控制运行。

高速飞行留给策略反应新观测的时间更少,需要进一步降低端到端时延;更长的任务可能还需要回忆早前的地标或决策,扩展长期记忆被列为方向;布局或视觉条件与训练差异很大的环境仍有提升空间。