跳到主要内容
返回时间线
arXiv来源发表:

流匹配策略不再只求动作像样:用物理推演筛种子,PushT成功率从31.3%升到88.5%

核心概要

生成式操作策略能给出看似合理的动作片段,却可能让后续片段停滞甚至抹掉先前进展。一种面向流匹配策略的推理时精修方法,用并行物理推演评估候选动作片段,并要求每个片段满足带终端收缩的任务性能漏斗,从而在重复执行中把任务误差压向零。在PushT与三块堆叠上,精修把成功率从31.3%提到88.5%、从77.0%提到86.0%;在PushT上,学习到的漏斗相对只约束片段终点,把已取得进展的最大回撤均值降低19%,成功率相当。

Source-provided article image: Task Convergent Flow Matching for Generative Robotics
arXiv

深度剖析

生成式操作策略产出的动作片段可以看起来合理,却不一定让被操作物体朝任务完成推进,连续片段可能停滞或把先前改变退回。 此前的推理时精修多用于避碰、可行轨迹或让机器人运动满足稳定性条件,这些要求本身不保证连续动作片段推动物体走向完成;以预测终点进展或累积奖励为目标的做法,也没有规定片段内允许多大回退。 在PushT上,不做精修的原始策略成功率为31.3%,只约束片段终点的精修把它提高到86.8%;在三块堆叠上,同一对照把成功率从77.0%提高到86.0%。

精修不重新训练策略,而是在给定观测与采样器后,把流匹配的源种子当作搜索变量,用物理推演预测每个候选片段对场景的影响,再挑出满足任务漏斗的方案执行。 任务漏斗是一条随时间变化的误差包络:它允许片段内出现临时回退,但要求片段结束时误差净下降;搜索用无导数的协方差矩阵自适应进化策略(CMA-ES,一种按种群采样并迭代更新分布的优化方法)在源种子的径向分位带内搜索,以保留学到的动作先验。 在PushT的200个新初始条件上,带分位带的CMA-ES达到86.5%成功率,高于L-BFGS的70.0%、best-of-n的82.5%和CEM的79.0%;去掉分位带后成功率升到96.0%,但执行窗口中偏离训练演示的分布外比例从11.3%升到34.1%。

漏斗的瞬态约束在任务分数能反映片段内进展的PushT上保留了更多已取得进展。 只约束片段终点时,片段内部可以先大幅退步再在末端补回,终点好看会掩盖中途的进展损失。 在PushT上,学习到的加性漏斗把最大回撤均值从只约束终点的62.8点降到52.3点,成功率与只约束终点在统计上相当;带分位带时11.3%的执行窗口为分布外,落在留出演示的9.6%(95%区间5.4–15.4%)范围内。

启示与展望

演示范围是仿真环境中的平面PushT、三块堆叠和双螺母装配,精修读取模拟器给出的完整场景状态,并用同一模拟器推演候选动作;收敛结论只适用于实际执行且满足各自漏斗的动作片段。

任务势函数由人根据任务几何手工设计,精修质量随之变化;搜索可能执行不满足漏斗的方案,连续时间验证用的是从采样轨迹估计的变化率而非经证明的界;规划每片段耗时数秒,期间场景需保持静止。