冻结视觉世界模型也能管住过程风险:RTS只在报警时搜索,安全到达率最多升41.67个百分点
核心概要
预训练视觉世界模型能直接从当前与目标观测生成多步动作计划,但只以接近终点为目标,途中穿越禁区或沿碰撞面滑行仍会被算作成功。Risk-Triggered Search(RTS)不改动冻结的JEPA世界模型,而是把候选动作在潜空间里展开成未来前缀,用过程违规标签训练一个轻量风险头,并让同一前缀风险判据同时充当搜索触发门与硬可行性门。在五个任务上,RTS-AP相对Direct在TwoRoom、Reacher、PointMaze上把安全到达率分别提高12.67、41.67、27.34个百分点;1,968条配对轨迹显示它与每步搜索动作完全一致,控制器时间减少17.71%–70.41%。
深度剖析
安全控制从“到达终点即成功”改为同时审计途中是否穿越禁区或沿碰撞面滑行,RTS让冻结的视觉世界模型在报警时才介入,安全到达率随之上升。 此前的INTACT Direct只优化终点接近程度,在Reacher上成功率81.50%而安全到达率仅8.50%;Guarded A按终点距离做搜索,成功率81.17%但安全到达率只有9.50%。 在TwoRoom、Reacher、SimplePointMaze三个任务上,RTS-AP的安全到达率分别为88.17%、50.17%、77.34%,相对Direct提高12.67、41.67、27.34个百分点,违规率从21.50%、84.50%、50.00%降到2.33%、37.83%、8.59%。
风险不是从单帧状态读出,而是把每个候选动作序列送进冻结世界模型展开成未来潜变量前缀,再由风险头判断这段未来是否会违规。 同一观测下的不同候选计划在静态特征里完全相同,风险头无法区分;把候选动作直接拼进特征也只能把上下文内AUROC从0.500提到TwoRoom的0.547和Reacher的0.527。 改用预测前缀后,上下文内AUROC在TwoRoom和Reacher都达到0.791,配对增益分别为+0.243和+0.263;五个任务的风险头排序AUROC在0.901–0.985之间。
报警后的修正不再用欧氏距离最小化,而是加入步长幅度保持项,避免把朝向障碍的动作缩成原地停滞,改为沿切向绕行。 纯欧氏最小修改会把指向障碍的动作压到零幅度,在PointMaze上非回退的零动作停滞为每回合2.133次;换成幅度保持度量后降到0.734次。 在PointMaze上,固定生成器只换最终选择器,安全到达率提高3.65个百分点(95%置信区间[0.78,6.51]);三个独立训练的风险头给出+3.65、+3.39、+3.12个百分点的增益。
搜索触发门与最终可行性门共用同一判据,且修正度量在名义计划处唯一取零,因此安全计划直接执行与每步搜索得到完全相同的闭环轨迹。 每步CEM搜索虽然保留主干,却带来沉重延迟;此前的触发式方案按当前状态分类或把任务回报混入最终选择,会改动本来安全的计划。 跨TwoRoom、Reacher、SimplePointMaze、Cube、PushT的1,968条同核配对轨迹上,RTS与Always-RTS逐步动作100%一致,控制器时间减少17.71%–70.41%。
启示与展望
评估覆盖TwoRoom、Reacher、SimplePointMaze、Cube、PushT五个任务,使用冻结的INTACT权重与几何禁区,Cube全测试集997个任务、PushT 1,538个任务,SimplePointMaze为64张未见测试地图上的128个任务;接触操作另设32个普通加32个边界任务的独立确认队列。方法面向只有RGB观测与动作历史的视觉控制接口,作者提出的后续方向是风险感知的视觉适配器、按目标掩蔽的动态审计时域和自适应搜索预算。
性能仍受降采样下视觉边界分辨率限制,TwoRoom低分辨率输入时RTS-AP安全到达率56.50%低于Direct的62.00%;PushT高频接触下静态阈值标定存在取舍,单一阈值在保护安全名义计划与保持近端违规召回之间难以兼顾;局部CEM提案在深死胡同中作用范围有限。风险调度把PointMaze搜索上限从100%降到50%时,安全到达率从75.78%升到83.85%,违规率同时从9.11%升到15.89%。
