VLA推理延迟100毫秒就能让移动目标成功率减半,VLALAGBENCH把延迟与任务成败连成可预测的曲线
核心概要
新加坡国立大学等机构的研究者发布VLALAGBENCH,在MuJoCo的LIBERO任务上系统改变任务类型、目标速度、执行模式、VLA策略与推理延迟,测量延迟如何影响机器人操作成功率。在0.1 m/s移动目标上,100毫秒同步推理延迟使set-down成功率从71.5%降到40.5%,而grasping只从86.5%降到74.0%。基于这些测量拟合的经验模型用少量标定数据预测未见延迟下的成功率,对π0.5的均方根误差为5.7个百分点。
深度剖析
机器人操作的成功率会随VLA推理延迟明显下降,下降幅度取决于任务本身和目标移动速度,而不是一个统一的延迟阈值。 此前常用的LIBERO、RoboCasa等操作基准环境静止,延迟只拉长完成时间而不改变结果;VLA-Perf把10 Hz和100 Hz当作可接受与高性能的参考点,却没有评估这些速率如何转化为任务成功率。 在π0.5同步执行、目标速度0.1 m/s时,100毫秒延迟让set-down从71.5%降到40.5%,grasping从86.5%降到74.0%;而在0.001 m/s的近静止目标上,200毫秒延迟只带来几个百分点的变化。
延迟通过两条路径损失成功率:观测过期让机器人按目标已经离开的位置行动,同步推理造成的停顿则打断需要连续运动的任务。 set-down要求把碗放在盘子中心3 cm范围内,release允许落在12.2 cm宽的篮口任意处;0.1 m/s下200毫秒的额外过期时间足以让盘子移动2 cm,相当于set-down容差的三分之二。 在release任务上,200毫秒同步延迟使π0.5接近目标的平均手速下降34%,机械臂因此落后于移动的篮子;异步执行在推理期间保持机器人运动,在50和200毫秒下把release和articulated任务的成功率恢复到接近零延迟基线。
一个以观测过期和空闲时间为输入的经验模型,可以用少量标定数据预测不同延迟、执行模式和执行时域下的成功率,并据此为具体推理系统挑选配置。 穷举执行模式与时域的组合需要在每个候选上反复跑任务,代价过高;模型改为在一条已测成功率曲线上按调整后的目标速度查表。 用0、100、200毫秒数据拟合后,模型对π0.5留出的50、150、250毫秒曲线预测均方根误差为5.7个百分点,对MolmoAct2为7.8个百分点;在四种部署场景中选出的最佳配置与实测最佳全部一致,B、C、D三个系统的预测误差为2.5%到4.6%。
启示与展望
结论建立在MuJoCo中基于LIBERO改造的四个任务上,目标沿固定闭合路径以0.001到0.2 m/s移动,控制频率20 Hz、执行时域H=5,主要策略为π0.5、GR00T N1.7和MolmoAct2的公开检查点;Isaac Sim上的DOM任务和SO-101真实机器人实验作为补充验证。
模型在π0.5最快目标上偏离测量:0.2 m/s的grasping在100到250毫秒各延迟下同步执行反而优于两种异步模式,而模型把同步执行预测得略低于lazy执行;250毫秒时lazy与continuous在近静止目标上也出现成功率下降。GR00T N1.7对初始目标位置敏感,其拟合系数在set-down的过期项和grasping的空闲项上为负,限制了速度缩放对它的描述能力。
