跳到主要内容
检索

# 视觉-语言-动作策略

8 篇关联报道

订阅更新
  1. arXiv

    机器人策略把“放进碗里”绑错了物体:不改指令、不训练,闭式权重编辑把留出成功率从27/128提到106/128

    零样本视觉-语言-动作策略在“先放方块再放香蕉进碗”任务上会提前松手,原因是把“in the bowl”绑到了香蕉而非手中的方块。闭式指令蒸馏把一种有效改写指令在VLM各层MLP上的逐层效果直接写进权重,无需梯度、训练数据或改动指令;在128个留出种子上成功率从27/128升到106/128,而同等规模的随机方向更新没有带来提升。

  2. arXiv

    月球车对接改由视觉-语言-动作策略直接驾驶:强扰动下成功率反超模块化管线,推理次数还少一半

    月球车自主对接此前依赖感知、建图、规划分工的模块化管线,感知误差会逐级传到规划。研究者在LuPNT月球模拟器中用特权专家生成安全示范,训练一个以Qwen3.5-4B为骨干的视觉-语言-动作策略,从单目相机和鸟瞰图直接输出航点。在训练中未见的尘埃与光学扰动下,该策略在六种扰动条件中的五种取得更高对接成功率,最强扰动下优势最大;自适应执行时域在保持90%对接成功率的同时,把每个成功场景的策略推理次数从固定2米时域的17.16次降到8.36次。

  3. arXiv

    机器人拆解不再只靠示范:PACER把自主回放与人工纠正变成训练权重,主板取件成功率87/100

    电子废弃物拆解中,视觉-语言-动作(VLA)策略的示范数据稀缺,仅靠监督微调难以覆盖部署时遇到的状态偏移。PACER把机器人自主回放、操作员纠正和补充干净示范统一成带过程角色的动作块行,按朝目标推进的程度和轨迹来源给每行赋权,仍沿用原有的监督动作损失。在UR5e主板拆解五个部件的留出硬件测试中,选出的策略完成87/100次接近与交接试验,均匀加权的后监督微调为54/100,固定几何加权为79/100。

  4. arXiv

    机器人记忆不再靠关键帧猜:把每步观察写成可核查文本,固定策略下成功率从44.5%升到66.0%

    Gamma把机器人长时记忆从像素改成可核查的文本行,在固定执行策略下把RoboMME十六项记忆任务的平均成功率从44.5%提到66.0%,并在三项任务上追平特权子目标上限。

  5. arXiv

    CAPABLE 用共享时序编码器把冻结 VLA 在未训练关节故障上的成功率从 24.8% 提升到 59.3%

    CAPABLE 提出一种面向冻结视觉-语言-动作策略的能力感知适配框架:它用跨关节共享的时序编码器从指令-响应历史与实时雅可比推断每个关节还能实现多少指令运动,并以自监督物理预测约束该表示,再通过有界残差强化学习修正 VLA 的机械臂动作,无需故障标签或故障关节标识;在 28 个 LIBERO 任务上,未参与故障训练的关节成功率由 24.8% 提升至 59.3%,比参数量匹配的全局历史基线高 17.4 个百分点,并保持健康性能。

  6. arXiv

    PyRUA-Lean 让 GPT-6 Astra 机器人智能体成功率从 63.1% 升至 71.7%,同时减少 65% 输入 token

    作者提出 PyRUA-Lean——一种交互式代码执行框架,将反馈驱动的机器人原语组合与选择性观测结合,让智能体把经典机器人原语与学习到的视觉-语言-动作(VLA)策略组合进 Python 单元以执行条件检查与局部重试,仅返回显式请求的图像与状态反馈用于重新规划;在 LIBERO-PRO、RoboTwin 2.0 与 RoboCasa365 的 700 个模拟任务实例上,与使用同一 GPT-6 Astra 规划器和相同底层机器人原语的工具调用基线相比,在相同 LLM 调用预算下总体成功率由 63.1% 提升至 71.7%,在两者均解决的实例上减少 49% 的 LLM 调用与 65% 的输入 token。

  7. arXiv

    Vela 将机器人动作预测从固定步长动作块改为连续样条轨迹,在 LIBERO-X 平均成功率 45.3%、EBench 总体 49.7%,真实双臂煎蛋任务子任务平均成功率 67.5%

    Vela 是一个在轨迹空间预训练的视觉-语言-动作基础模型,用固定数量的三次 B 样条控制点加一个随运动自适应的时间跨度来表示未来动作,在约两万小时公开加约两万小时私有机器人数据上预训练后,于 LIBERO-X 取得 45.3% 平均成功率、EBench 取得 49.7% 总体成功率与 66 分任务进度分,并在轮式双臂机器人煎蛋任务上取得 67.5% 子任务平均成功率。

  8. arXiv

    SWAP 用离线强化学习在 VLA 策略间逐步路由,DROID 真实任务成功率从 63.3% 提升到 96.7%

    SWAP 把机器人策略路由建模为离线强化学习问题,用 IQL 训练一个路由 critic,在每个动作块之后根据当前观测从多个预训练 VLA 策略中选出预期长期回报最高者;在真实 DROID 桌面操作上,成功率从最佳单一策略的 63.3% 提升到 96.7%,成功轨迹的平均动作步数从 269 降到 193(减少 28.3%),并在 LIBERO 与 LIBERO-Plus 仿真中优于固定策略与随机路由。

已读完全部报道