跳到主要内容
返回时间线
arXiv来源发表:

流式世界模型不再丢弃被拒草稿:SpecWM把验证变成修正,WBench上提速1.63倍

核心概要

流式世界模型要在交互中同时保证画质、控制跟随和响应速度,大模型质量高但算力贵,小模型快却画质与控制都弱。此前的推测式方法用外部奖励模型给解码帧打分,只决定接受还是让大模型重生成,被拒的草稿没有修正信号,只能整段重算。SpecWM改为用目标模型末级潜空间速度场做一次探测,把同一预测当作可复用的修正,并以两个阈值分流接受、修正、重生成;在WBench Navigation的158个案例上,它以相对Target-only 1.63倍生成循环加速把NavScore从草稿的75.99提到85.63,HPSv3从74.57升到77.66。

Source-provided article image: SpecWM: Turning Verification into Refinement for Streaming World Models
arXiv

深度剖析

流式世界模型的推测式生成多了一条中间路径:被判定有偏差的草稿块不再只有接受或整段重生成两种结局,可以先由目标模型做有限步修正再提交。 此前的奖励式推测方法在解码帧上算分,只用来选择接受或让目标模型走完整采样流程重生成,被拒草稿得不到任何修正信号。 在WBench Navigation全部158个案例上,SpecWM与SDVG-style的接受比例同为68%,但SpecWM只把13%的块送去修正、19%留给完整目标生成(含回退),SDVG-style则有32%需要完整重生成,生成循环加速从1.42倍升到1.63倍。

修正的步数不是固定值,而是按控制变化的位置分配:转向处修正得更深,持续运动时修正得更浅。 统一修正长度的实验显示两种效果互补,一步修正把HPSv3从草稿的72.49提到77.80,三步修正把NavScore从75.92提到85.17,但三步的HPSv3回落到74.26、加速从1.78降到1.10。 采用转向处三步、下一块两步、其后一步的调度后,SpecWM在1.63倍加速下取得NavScore 85.63与HPSv3 77.66,而固定一步修正的NavScore为76.39、去掉中间两步修正则降到81.49。

验证与修正共用同一次目标模型探测,且草稿生成下一块与目标验证当前块并行执行。 解码帧打分需要先解码再评分,每块都增加运行时开销,而且分数本身不构成对草稿的修正。 一次末级探测在单独优化计时下为1.5秒,四阶段验证为4.4秒;去掉并行执行后加速从1.63倍降到1.29倍,去掉连续拒绝后的回退则降到1.45倍。

启示与展望

演示范围是LingBot-World 2.0的1.3B草稿与14B目标在WBench Navigation全部158个案例上的配对,以及Hy-Nomas同权重、草稿4步对目标8步的280案例人工评测;阈值由20个校准案例按70与90百分位设定后固定。作者提出后续将把草稿—目标配对扩展到跨模型潜空间对齐。

作者报告一步修正提升感知质量但导航控制改善有限,三步修正改善相机跟随与轨迹一致性却降低感知偏好与美学分;阈值依赖20个校准案例的百分位设定,路由效果取决于哪些块被分到哪一档,而非仅看各档比例。