独立零件也能拼成整机:VA-Assembly用同视角扩散打分,免训练估出平移旋转缩放
核心概要
VA-Assembly把单图三维重建得到的整体模型当作参照,在无需部件标注、类别先验或包围盒初始化的条件下,直接优化各自独立准备的零件几何的平移、旋转与缩放。它让冻结的视角条件扩散模型以与当前零件渲染同一视角的参照渲染为条件,从而得到与当前构型几何对齐的分数梯度。在平移-旋转、平移-缩放与全变换三种协议下,其部件级变换误差低于对应的配准与布局基线,消融显示同视角条件而非扩散引导本身是关键。
深度剖析
单张参考图加一组彼此独立准备的零件几何,就能恢复每个零件的平移、旋转和缩放,零件几何本身保持不变、仍可单独替换。 此前的部件感知生成与学习式装配依赖部件级监督、类别先验或成对的部件布局训练数据,而配准方法要求零件与参照之间有可靠的三维对应。 在平移-旋转协议下,VA-Assembly的倒角距离为0.019、旋转误差为14.061度,对应基线Go-ICP为0.181和44.61度、Assembler为0.037和61.038度。
引导信号来自一个冻结的视角条件扩散模型,它被要求以参照整体模型在同一相机视角下的渲染为条件,去预测当前零件构型的噪声残差。 原始Zero-1-to-3以固定源图加相对相机位姿预测目标视角,其分数并不针对当前渲染的视角差异。 仅用扩散引导、去掉后期精修项时,同视角条件的倒角距离为0.038、旋转误差12.795度,单视角Zero-1-to-3为0.102和45.426度,常规多视角Zero-1-to-3为0.111和57.881度。
梯度经可微高斯泼溅渲染回传到零件变换参数,并在随机采样的多个视角上取平均,以抵消单视角投影对屏幕内位移的偏好。 单视角图像空间监督下,靠近画面中心的投影点对深度方向运动不如对平行于像面的运动敏感。 优化共50轮,前40轮只用同视角分数引导做粗排布,最后10轮才加入可见性过滤的倒角距离与RGB一致性项做局部精修。
启示与展望
演示范围是单张参考图、几何固定且彼此独立的零件,在GSO与Breaking Bad构造的合成基准上评估,共80个目标组合;与部件感知生成方法的比较另用20张GPT-4o生成的参考图。读者对象是从事三维生成、装配与场景编辑的研究人员和工程师。
所有方法的旋转误差标准差都较大,作者将其归因于几何歧义、近对称结构或视角线索较弱时出现的局部极小。TEASER++在Breaking Bad上尺度估计不准,作者认为与断裂面附近对应关系不可靠有关。作者把更强的接触推理、碰撞处理与物理约束多零件装配列为后续工作。
