跳到主要内容
返回时间线
arXiv来源发表:

视频生成不再一律先搭3D场景:Coda-DaVinci按任务选路,VTR词错率从59.21%降到11.08%

核心概要

Coda-DaVinci把Code2Video从固定流程改成按任务选路:需要精确控制结构或运动时先由编码智能体搭3D代理,以自然人体动作为主的任务则直接生成,并按实体调整建模粒度。在VTR上它把词错率从直接生成的59.21%降到11.08%,在R2M上场景一致性指标领先;长视频中事件结构与跨轮一致性改善,但转场稳定性和场景设定遵循仍弱于直接生成。

Source-provided article image: Coda-DaVinci: Reimagining Video Generation with Code2Video
arXiv

深度剖析

视频生成多了一条按任务切换的路径:Coda-DaVinci在需要精确控制场景结构或运动时先构建3D代理再合成,在以自然人体动作为中心、显式控制收益有限时改为直接生成。 此前的Code2Video做法一律先由编码智能体搭建并渲染3D代理,再用它引导视频模型;代理越细,几何或运动误差越可能带进最终视频。 在VTR上,Coda-DaVinci的清单满足度高于最强的智能体基线,词错率从直接生成的59.21%降到11.08%;在R2M的场景一致性指标上同样取得报告中的最高分。

代理的细节程度不再一刀切,而是按实体分配:环境与结构化物体用中等粒度,人体用粗粒度,只保留整体位移与旋转。 在提示方式固定为无增强、物理设置取两种取值的对照中,细粒度代理在自然度与真实感上从未超过中等粒度;在VGIF-Bench上,粗粒度在两种物理设置下的物理合理性与自然度都居三种粒度之首。 人工检查把粗粒度的这一优势主要归因于把肢体动作和细节留给视频模型,减少了细粒度代理动画带来的僵硬感;在启用物理模拟时,中等粒度在WorldMemBench和VGIF上的一致性优于粗粒度,在Principia上两者持平。

合成提示由智能体在查看渲染后的代理之后撰写,把主体描述与代理实体、外观参考绑定,并补写代理中没有的材质、光照与细微动作。 固定中等粒度时,智能体撰写的提示在四项指标的三基准平均上都优于外部模型MiniMax H3-Context-IR的纯文本增强。 在启用物理模拟时,智能体提示相对无增强在四项均值上的提升更大,一致性、指令遵循和物理合理性上升,自然度与真实感略降;在VGIF-Bench上,从无增强切到智能体提示使四项均值提高0.405分,而在不启用物理模拟时变化幅度小于0.001分。

多智能体执行框架保留共享的Blender工作区,让子智能体分头建模并在后续请求中复用资产,另设独立的验收智能体按任务标准检查候选视频并退回未满足的要求。 消融显示,去掉独立验收后一致性下降最多;把选路固定为始终走3D建模,或对所有主体统一用中等粒度,对指令遵循和美学的影响最大。 在33个任务的诊断子集上,用GPT-6-Astra与Seedance 2.5组合时,上述每个消融都在四个维度上降低得分;同一子集上把Blender换成Three.js后两者都优于直接生成,Blender四项得分更高,但每个案例消耗的智能体token约为前者的两倍。

启示与展望

结论建立在WorldMemBench、VGIF-Bench、Principia三个基准的盲评人工打分,以及World Models' Last Exam in Physics、R2M、VTR和200个随机抽取的T2AV-Compass任务上;所有方法统一用Seedance 2.5合成视频,消融在33个任务的诊断子集上完成,长视频对比覆盖29个LongAV-Compass与50个WBench案例。

长视频评测中,Coda-DaVinci在LongAV-Compass的转场稳定性和WBench的场景设定遵循上不如直接生成,跨片段连续性与场景保真仍有缺口;在World Models' Last Exam in Physics上它排在Claude + Blender之后,作者把剩余差距部分归于编码模型实现物理行为的能力。