只删指定物体的影子:FreeDeshadow用点、线或一句描述锁定投影,非目标区域PSNR达51.078 dB
核心概要
现有阴影去除要么整图处理,要么依赖精确阴影掩码,无法只去掉用户指定物体投下的影子。FreeDeshadow把交互对象从阴影区域换成投影物体,接受点、线、物体掩码三类视觉提示和属性、空间关系、状态三类文本提示,先由生成器给出无影候选,再由局部精修器建立物体与投影的对应并把改动限制在目标阴影内。在PCSRD+上,视觉提示下非阴影区PSNR为51.078 dB,文本提示下为47.955 dB。
深度剖析
阴影去除从整图或按阴影掩码操作,转为按用户指定的物体操作:只去掉该物体投下的影子,物体本身、其他物体的影子和背景保持不动。 此前的阴影感知方法需要精确标注的阴影掩码作为输入,而掩码只说明影子在哪里,不说明影子由哪个物体投下,因此无法在多物体场景中做物体级选择。 在PCSRD+的视觉提示设置下,非阴影区PSNR为51.078 dB,高于任务适配基线Qwen-Image-Edit-2511加LoRA的39.553 dB;文本提示设置下为47.955 dB,对应基线为39.108 dB。
系统先根据提示理解目标物体,生成一张整体无影的候选图,再把候选图中属于该物体投影的部分贴回原图。 生成器基于Qwen-Image-Edit,用冻结的Qwen2.5-VL编码器把图像与提示编码成统一的多模态表示,并以LoRA微调扩散主干;局部精修器把这一表示转成稀疏阴影提示,借助SAM2的多尺度特征建立物体与空间上分离的投影之间的对应。 评测在PCSRD+上进行,该数据集含154,571组四元组、分辨率1024×1024,覆盖点、线、物体掩码三种视觉提示与属性、空间关系、状态三种文本提示。
启示与展望
演示范围是PCSRD+数据集上的六类提示,以及未微调直接用于WSRD的跨数据集测试和若干真实场景图像;读者对象是需要物体级阴影编辑的图像编辑与计算摄影研究者。
文本提示一侧,阴影区PSNR为21.553 dB,略低于Qwen-Image-Edit-2511加LoRA的21.895 dB,优势体现在非阴影区与全图指标上;跨数据集泛化只以WSRD上的定性结果呈现。
