音视频联合生成不再让音频拖后腿:OmniOPD给音频教师更干净的视觉条件稳住蒸馏
联合音视频生成中,音频token远少于视频,监督稀疏导致蒸馏不稳,简单加大音频损失权重反而更糟。OmniOPD让音频教师在更干净的视觉条件下生成目标、对每个提示采样多条轨迹、并按教师与学生转移差异给每个时间步加权,在JavisBench上把视频质量VQ从LTX-2.3的2.714提到3.347,同时音频质量AQ为5.449,低于音频教师的5.576。
联合音视频生成中,音频token远少于视频,监督稀疏导致蒸馏不稳,简单加大音频损失权重反而更糟。OmniOPD让音频教师在更干净的视觉条件下生成目标、对每个提示采样多条轨迹、并按教师与学生转移差异给每个时间步加权,在JavisBench上把视频质量VQ从LTX-2.3的2.714提到3.347,同时音频质量AQ为5.449,低于音频教师的5.576。
视频流模型做奖励对齐时,把引导采样与优化锚点拆开,让无引导单分支推理也能拿到引导探索的收益,同时保留推理时引导的原有语义。
机器人世界模型HF-WM把人类第一视角操作视频和扰动出的失败动作一起训练,在动作条件视频生成上取得当前最好结果,并让预测成功率与真机部署表现高度一致。
已读完全部报道