跳到主要内容
返回时间线
arXiv来源发表:

人像视频换光不再只认静态灯:FlashRelight 用两阶段拆解,环境贴图序列逐帧跟随动态光

核心概要

人像视频重打光此前多针对静态或轻微变化的光照,方向、强度、颜色随时间变化时难以稳定跟随。FlashRelight 把任务拆成两步:先用去光模型压掉原始照明,得到近似中性光的视频,再由基于 DiT 视频生成先验的重打光模型合成目标动态光。它支持环境贴图序列、动态光照文本和光照参考视频三种控制,在留出的10名受试者、16组环境贴图序列测试集上,其光照准确度、LPIPS、身份相似度、PSNR 与 tLPIPS 均优于所列三个基线。

Source-provided article image: FlashRelight: Portrait Video Relighting with Dynamic Lighting
arXiv

深度剖析

人像视频可以在光照方向、强度、颜色随时间变化时被重新打光,并保持身份、动作和时间上的连贯。 此前的重打光方法多面向静态光照或只处理轻微的光照变化,逐帧处理还会带来闪烁。 在未参与训练的10名受试者、16组环境贴图序列测试集上,FlashRelight 的光照准确度误差为0.0584、LPIPS 为0.1635、身份相似度为0.8097、PSNR 为23.1099 dB、tLPIPS 为0.1303,均优于 Lite2Relight、Relighting-Cai 与 DiffusionRenderer 的对应数值。

做法是先把原始照明从视频里压掉,再在中性光视频上按目标光照重新生成。 去光模型只要求给出保留身份与动作的稳定外观表示,不要求物理上精确的本征分解;重打光模型以预训练 DiT 视频生成模型 Wan2.1-1.3B 为基础,在去噪每一步把去光视频的潜变量与含噪目标潜变量按通道拼接。 训练数据由静态 OLAT 数据与生成的动态光照人像视频混合而成,前者来自 FaceOLAT 的60名受试者、每人2–4种表情,配600组合成环境贴图序列与200张经旋转和时间变换的真实环境贴图,共24,000对视频;后者超过10,000对。

三种控制方式覆盖了从逐帧精确到语义描述再到跨视频迁移的不同需求。 环境贴图序列提供逐帧显式控制,动态光照文本提供语义编辑接口,光照参考视频提供直接的视觉迁移线索。 环境贴图分支在跨注意力前做 token 级时间对齐,只与同一时间索引的贴图 token 计算注意力;文本分支由 T5 编码后经文本跨注意力注入;参考视频分支在潜变量输入层按通道拼接融合。

启示与展望

演示范围是49帧、给定分辨率的人像片段,定量结论主要来自环境贴图序列设置在留出测试集上的对比,文本与参考视频设置分别只有部分定量指标或仅定性展示。

去光表示的准确性构成主要限制:强投影图案、快速头部运动、面部彩绘、运动模糊或严重图像退化会让去光变得含糊,并可能连带压掉肤色、面部细节或运动结构。文本分支只对有限的一组光照描述有效,尚不能可靠跟随自由形式的光照提示;当前形式主要重打光人像前景,不显式处理背景,前景与背景照明可能不一致。