跳到主要内容
返回时间线
arXiv来源发表:

单图生成多视角不再全盘信任几何:RGMV按区域可靠性调节注入,GSO上PSNR升至21.94 dB

核心概要

从单张参考图生成多视角图像时,几何预测在遮挡和细结构处并不可靠,而现有几何引导方法对所有位置使用同一注入强度。RGMV用同一参考图与目标视角下多次随机采样得到的法向预测之间的空间一致性,构造无参数可靠性图,再据此逐像素调节几何残差注入的强度。在GSO测试集上,以Era3D为几何提案源时PSNR达到21.94 dB,高于Era3D单独使用的20.77 dB;以MV-Adapter为提案源时下游重建Chamfer Distance为0.026、Volume IoU为0.62。

Source-provided article image: Self-Consistency Geometry Injection for Multi-view Consistent Image Generation
arXiv

深度剖析

多视角RGB合成开始按空间位置区别对待预测几何:一致性高的区域保留更强的几何引导,一致性低的区域在几何线索进入合成之前就被削弱。 此前的几何引导流程把预测出的法向图、深度图等当作固定条件,以全局统一的强度注入,隐含假设所有几何线索同等可信。 在冻结RGB合成模型的对照中,统一注入把PSNR从24.22 dB提高到24.43 dB,而改用SCG可靠性图后达到24.63 dB,SSIM从0.8498升到0.8545,LPIPS从0.2073降到0.1935。

可靠性来自几何提案生成器自身的重复采样,不需要额外的可靠性标注,也不改动法向图本身。 SCG是一个无参数门控,把同一参考图与目标位姿下不同随机种子产生的多组法向预测之间的角偏差,换算成逐像素的可靠性响应。 在约3000万像素位置上,预测法向之间的角不一致与锚点法向相对真值的角误差呈正相关,合并Spearman系数为0.299,区分高误差像素的AUROC为0.729。

可靠性图通过RGI模块调制法向条件ControlNet产生的残差,而不是替换几何条件。 常规做法用固定注入尺度乘以几何残差,RGI改为先对可靠性图做仿射校准并缩放到各去噪块的分辨率,再逐元素乘到残差上。 在Objaverse固定验证子集上,冻结模型时SCG注入优于统一注入;在同样适配RGB合成模型后,RGMV把PSNR从25.14 dB提高到25.31 dB,SSIM从0.8569提高到0.8621,LPIPS从0.1948降到0.1823。

启示与展望

演示范围是Objaverse约K个物体的训练子集与固定验证子集,以及GSO固定测试集上的六视角合成和下游三维重建;真实拍摄图像只做了定性比较与固定随机样本的失败审计。SCG不假设特定相机角度,但任意或连续位姿的评测不在该工作范围内。

可靠性图只是预测稳定性的代理,并未用真值法向误差监督,也不假设预测一致就等于几何准确。真实图像审计中,基线MV-Adapter的几何相关失败有部分被RGMV修复或缓解,仍有未解决案例,并新引入少量几何伪影。几何提案次数从1增加到4只带来可忽略的质量变化,却明显增加运行时间。