机器人动作视频不再只求画面流畅:ReactWorld把角色与局部响应写进生成条件,RBench均分77.51
核心概要
具身视频世界模型生成的画面可以很流畅,物体却未必按任务意图和接触关系作出反应。ReactWorld在生成骨干的特征空间里先预测交互响应场,明确谁参与、哪些局部区域会响应、响应多强以及随后如何移动,再把这些预测反馈到物体特征更新和跨帧信息读取中。在RBench上,它的平均分为77.51,比PhysisForcing高3.29分,并在全部九个类别上都有提升;在EZS-Bench上,Domain得分为86.98,平均分为81.87。
深度剖析
具身视频生成开始把“物体该在何时、何处、以多强的方式响应”当作生成条件,而不只是追求整体运动连贯。 此前的图像到视频模型能生成逼真的外观和连贯的运动,但目标可能在接触前就移动、被抓物体可能脱离夹爪,邻近物体也可能无必要地响应。 在RBench上,ReactWorld平均得分77.51,高于同数据训练的Video-FT的71.94,并比PhysisForcing高3.29分,在全部九个类别上均优于PhysisForcing。
交互预测在同一个去噪前向过程中完成,并直接改写生成骨干中的物体特征与跨帧注意力。 交互响应场预测器从骨干中间特征出发,给出参与者角色、未来运动响应强度和区间运动;响应反馈适配器以“有预测局部动力学”和“局部动力学置零”两种输入下物体分支输出的差值作为特征增量,并把预测位移转成时间注意力偏置。 训练使用从AgiBot、RoVid-X及网络机器人视频中整理的约50万段片段,视频为81帧、16 FPS,预测与反馈都施加在第12个DiT块上。
启示与展望
评估覆盖RBench的五类任务与四种机器人形态,以及EZS-Bench的具身域表现与感知质量;RBench由Qwen3-VL-235B-A22B-Instruct评测,EZS-Bench的Domain由Qwen2.5-VL-72B-Instruct评测,Quality使用该基准的八项视频质量指标。推理只需要任务指令和初始图像,不需要外部角色图或轨迹。
当前交互预测使用二维响应表示,尚未显式建模三维交互关系;作者提出将探索时间一致的三维运动表示与排练以改善空间一致性。位移偏置强度在默认值的0.5到1.5倍之间得分接近,到2倍时下降;插入在第12块的Domain为86.98,第8块和第16块分别为85.41和86.01。
