机器人世界模型学会分辨动作差异:DROID上策略成功率相关性从0.47升到0.79
机器人世界模型能生成逼真的操作视频,却常常忽略动作的细微变化,导致几乎相同的动作被预测成同样的结果。AFFECT把带记录扰动的动作注入训练数据,再要求生成视频对这些扰动的响应与真实录像一致,从而在不改架构、不需要同一初始状态重复执行的情况下加入动作敏感性监督。在DROID真机配置上,DreamDojo骨干的策略成功率皮尔逊相关系数从0.47升到0.79,FVD最多降低23%,并用于规划时提升任务成功率。
机器人世界模型能生成逼真的操作视频,却常常忽略动作的细微变化,导致几乎相同的动作被预测成同样的结果。AFFECT把带记录扰动的动作注入训练数据,再要求生成视频对这些扰动的响应与真实录像一致,从而在不改架构、不需要同一初始状态重复执行的情况下加入动作敏感性监督。在DROID真机配置上,DreamDojo骨干的策略成功率皮尔逊相关系数从0.47升到0.79,FVD最多降低23%,并用于规划时提升任务成功率。
已读完全部报道