跳到主要内容
返回时间线
arXiv来源发表:

导航智能体不再每步都问大模型:H2E把整段会话蒸馏进8B VLA,成功率从35.0%升到44.9%

核心概要

导航系统通常由大语言模型规划器在每一步调用视觉-语言-动作(VLA)模型,每个回合都要付出大模型调用成本与延迟。H2E把智能体成功会话整体转成VLA训练数据:会话中每一次移动都按原始任务指令标成VLA动作,偏离目标的步不计损失,距目标1米内的到访状态标为停止,再用低秩适配微调VLA。在REVERIE-CE val-unseen全部回合上,8B VLA的成功率由35.0%升至44.9%,而按测地专家标签做适配没有增益。

Source-provided article image: What Can a VLA Learn from the Agent That Calls It? Task-Level Experience Distillation for Embodied Navigation
arXiv

深度剖析

导航智能体在测试时不再需要调用大语言模型规划器,只保留一个经过微调的8B VLA单独执行任务。 此前的做法是让前沿大模型规划器在整段回合中持续调用VLA,并在VLA出错时纠正它;这类智能体的蒸馏此前针对的是规划器,VLA本身保持冻结。 在REVERIE-CE val-unseen全部回合上,H2E把8B VLA的成功率从35.0%提高到44.9%,提升9.9个百分点,跨场景的95%区间为3.9到16.3个百分点;使用相同停止规则和LoRA设置的测地适配没有增益。

智能体会话里由规划器工具和子指令驱动的动作、以及后来被纠正的绕路,都被当作VLA在原始任务指令下的动作来学习。 会话不能直接当作VLA示范:规划器自己的工具和子指令合计产生会话中45%的移动,近四分之一的步是偏离目标的绕路。 训练数据来自57个训练场景的2395段会话、332405个标注步,其中VLA按原始指令执行的步只占53.9%;在只使用504段会话的对照中,H2E达到43.2%成功率,测地适配停留在34.9%。

蒸馏后的VLA既学会在目标处停下,也学会找到基础模型到不了的目标。 基础VLA只把67%的到达目标区域回合转成成功,有544个回合进入区域却停在区域外。 H2E把这一比例提高到89%,把这类失败减到168个;它还到达了基础VLA从未到达的401个目标区域回合,其中355个成功。

启示与展望

结果建立在REVERIE-CE基准、8B NavGPT视频VLA和以gpt-6-astra为规划器的单一智能体之上,评测覆盖val-unseen的10个场景以及另外26个场景的100个开发回合。蒸馏后的VLA只接收四路RGB视图,测试时单独运行,LoRA权重可合并回原模型,因此规模与单步开销和基础VLA相同。

蒸馏后的VLA尚未学会在偏离路线后恢复,这需要智能体的地图与记忆;从VLA自身失败出发采集会话被列为自然的下一步。实验只覆盖一个基准、一个VLA和一个大模型智能体,作者据此把配方推广到其他调用VLA的智能体仍属预期而非已验证。