在之前的文章中以及和大家介绍过需要关于图像&视频重打光的方法，在今天的推送文章中，已经帮大家重新整理好了，欢迎大家点击阅读~
今天给大家介绍谷歌提出的一种基于扩散模型的方法LightLab，可以实现对单张图像中光源的细粒度、参数化控制。该方法能够调整可见光源的强度和颜色、环境光照的强度，并可在场景中插入虚拟光源。
LightLab方法能够对图像中的光源进行显式的参数化控制，同时生成物理上合理的阴影和环境光效应。此外还可以调节光源的强度、改变其颜色，以及调整环境光照。下图为 LightLab 的灯光编辑结果：
相关链接
- 论文：https://www.arxiv.org/pdf/2505.09608
论文介绍
控制图像中的光源是摄影的一个基本方面，它影响图像中的主体、景深分离、色彩以及整体氛围。现有的重光照（relighting）方法要么依赖于多个输入视角在推理阶段进行逆向渲染，要么无法提供明确的光源控制。
谷歌提出了一种基于扩散模型的方法LightLab，实现对单张图像中光源的细粒度、参数化控制。LightLab方法能够调整可见光源的强度和颜色、环境光照的强度，并可在场景中插入虚拟光源。LightLab方法能够对图像中的光源进行显式的参数化控制，同时生成物理上合理的阴影和环境光效应。该方法可以调节光源的强度、改变其颜色，以及调整环境光照。
论文的主要贡献如下：
- 一种有效地微调和调节扩散模型的方法，用于基于单幅图像对光源进行参数控制。
- 论文证明了即使是少量真实的、物理上精确的训练样本，也能补充大规模合成渲染，其中前者可以防止域漂移，而后者可以提高物理合理性。
- 由此产生的高质量基于图像的解决方案，使用户能够进行复杂且连续的照明编辑。
方法概述
后处理流程。
- 上行：从一对真实（原始）照片对中，首先分离出目标光变化 ichange。
- 下行：对于合成数据，分别渲染每个光分量。在光解缠结之后，两个域均经过光运算以创建参数化的图像序列 irelit (𝛼,𝛾, ct)，然后将其色调映射到 SDR（可以一起进行，也可以单独进行）。
调节信号。
- 空间条件（输入图像、目标光掩模和深度图）嵌入到潜在维度并与输入噪声连接。通过缩放目标光掩模的强度和颜色来应用光强度和颜色控制。
- 全局控制（环境光强度和色调映射值）投影到文本嵌入维度，并通过交叉注意力机制插入。
色调映射策略。一系列光照强度递增的图像，色调映射可单独进行，也可同时进行。上行：图像单独进行色调映射，注意光源强度在点亮时如何保持恒定，而环境光则似乎变暗。下行：同时进行色调映射
强度控制。使用提出的方法对目标光的强度进行细粒度控制。数值表示相对于源图像的相对强度变化。
颜色控制。打开输入图像（左上）中不同颜色的路灯。上行：人造光黑体温度。下行：任意非自然 RGB 颜色。
实验结果
训练域的影响。在不同域上训练的模型的真值相似度指标。二值图像。表示完全打开或关闭光源的图像对。
与其他研究的比较。左侧是配对评估集上 PSNR 和 SSIM 的地面真实相似度。右侧是该方法的用户研究偏好率。方法在物理合理性和用户满意度方面均优于先前的结果。
定性比较：将合成数据添加到训练数据集的效果。黄绿色：仅在混合模型中模拟屏幕的镜面反射。红色：混合模型为电缆生成了精细的硬阴影，该阴影与其形状相关，并与地面实况相似。
定性比较。与其他基于 IIW 数据集图像的研究进行比较。左图：输入图像，其中绿色/红色轮廓分别指定应打开/关闭的光源。
定性结果。选取公开来源图像的测试结果，展示论文方法成功的光照编辑（绿色框）和失败的光照编辑（红色框）。
结论
LightLab是一种基于扩散的细粒度控制图像中光源的方法。利用光的线性和合成的 3D 数据，作者创建了一个高质量的成对图像数据集，隐式地模拟了复杂且受控的光照变化。论文证明了通过使用基于物理的数据对扩散模型进行微调，可以在捕获后实现对光源的物理合理控制。此外，作者也证明了利用经典的计算摄影技术和基于物理的模拟来生成生成模型的训练数据，是基于物理的图像编辑的一个有前景的方向。
