作者 | Pengfei Zheng
单位 | USTC, HKBU TMLR Group
最近生成式AI的迅猛发展为文本到图像生成、视频生成等令人瞩目的领域注入了强大的动力，这些技术的核心在于扩散模型的应用。扩散模型首先通过定义一个不断加噪声的前向过程来将图片逐步变为高斯噪声，再通过逆向过程将高斯噪声逐步去噪变为清晰图片以得到采样。其中扩散常微分模型可以被用于生成的图片的插值，这在生成视频以及一些广告创意上有着极大的应用潜力。然而，我们注意到，当这种方法应用于自然图片时，插值出的图片效果往往不尽如人意。
通常情况下，扩散模型会对高斯噪声进行采样，然后逐步去噪以生成高质量的图片。插值图片的低质量意味着其潜在变量不再遵循我们所期望的高斯分布。为了提高插值图片的质量，我们需要确保潜在变量更接近于从高斯分布中采样得到。然而，直接对潜在变量进行缩放和偏移会严重破坏生成的图片，并且为了保留原始图片的信息，我们不能过多地修改潜在变量。因此，在尽可能不破坏潜在变量的情况下提高插值图片的质量成为一个难题。
我们首先改变潜在变量的噪声水平来分析了什么样的潜在变量能够被扩散模型还原成高质量的图片，并结合SDEdit方法引入高斯噪声来提高插值图片的质量，然而高斯噪声的引入会带来额外的信息。此外我们还分析了高维空间中潜在变量的正交性，这为我们方法奠定了基础。我们结合球面线性插值法和直接引入噪声的方法，提出了一个全新的插值方法：对潜在变量的极值进行约束，并结合微小的高斯噪声使其更接近预期的分布，且引入了原始图片来缓解信息丢失的问题。利用这种插值方法，我们能够在保留原图信息的同时，显著提高自然图片的插值结果。
接下来，我将简要向大家分享我们的研究结果。
论文标题：NoiseDiffusion: Correcting Noise for Image Interpolation with Diffusion Models beyond Spherical Linear Interpolation
论文链接：https://arxiv.org/pdf/2403.08840.pdf
代码链接：https://github.com/tmlr-group/NoiseDiffusion
Introduction
图1：球面线性插值法在人脸图片上的运用
扩散模型最常用的图片插值方法是球面线性插值法[1,2]：
我们将这种方法运用在自然图片上。从图2可以观察到，当在自然图片上应用球面线性插值法时，插值效果显著下降。
图2：自然图片和生成的图片插值效果比较
Analysis
图3：不同噪声水平的高斯噪声去噪的效果
我们首先研究噪声水平对生成图片的影响。观察到只有当高斯噪声的水平与去噪的水平匹配时（中间的图片），才能得到质量较高的图片。如果噪声水平低于去噪水平（右图），或者高于去噪水平（左图），都会降低生成图片的质量。我们使用定理一来解释这种现象：
定理一阐述了在高维空间中，标准高斯噪声的分布特性：它们主要集中在一个超球面上。在这个超球面的内侧，尽管点的概率密度相对较高，但由于其占据的体积较小，其整体贡献并不显著；而在超球面的外侧，虽然点的体积较大，但由于概率密度随着距离的增大而迅速衰减，因此外侧点的贡献同样可以忽略不计。因此，在训练扩散模型时，我们主要观察到的潜在变量集中在超球面上，而超球面内侧和外侧的潜在变量由于这些原因难以有效进行去噪。
图4：自然图片插值失败的原因
自然图片通常具有扩散模型在训练过程中未曾见过的复杂特征，这使得扩散模型在尝试将自然图片转换为标准高斯噪声时遇到困难。具体而言，这些图片的潜在变量可能包含高于或低于模型去噪能力范围的高斯噪声。然而，扩散模型的能力主要局限于还原定理一中所描述的超球面上的高斯噪声。对于超出这一范围的噪声，模型往往无法有效处理。因此，在进行图片插值时，通常会产生质量较低的插值图片。
Introducing noise
图5：直接引入噪声插值
为了改善图片的质量，使潜在变量更接近超球面，我们采用了结合 SDEdit[3] 的方法。具体而言，我们直接向图片添加标准高斯噪声，然后进行插值，最后进行去噪处理。通过图5可以清晰地看出，这种方法显著提升了插值图片的质量。然而，需要注意的是，如图中所示，这种处理方法同时也会引入一些额外的信息。
Method
图6：NoiseDiffusion的整体设计
为了提高图片质量并尽可能减少信息丢失，我们创新地结合了球面线性插值法与直接引入噪声的插值方法，提出了全新的NoiseDiffusion方法。如图6所示，NoiseDiffusion的整体设计既考虑了插值过程中的信息保留，又通过引入噪声提升了图片质量，实现了两者之间的有效平衡。接下来，我们将详细阐述NoiseDiffusion的设计思路。
Design 1：
图7：对潜在变量的极值进行约束
根据统计学的，超出一定范围的噪声分量可以被视为异常值。且结合图3，我们发现高于去噪水平的高斯噪声会产生明显的噪点，而这与自然图片的插值结果上的异常色块非常相近，因此我们有理由认为是潜在变量的极值导致了这些异常色块的产生。基于这些分析，我们对潜在变量的极值施加了约束，以控制这些异常噪声的影响。从图7可以看出，通过对潜在变量极值的约束，我们大幅提升了图片的质量。
Design 2：
图8：引入原图信息
在对潜在变量施加约束时，我们可能会不小心影响到一些正常的分量，从而导致信息的损失。为了弥补这一潜在的信息损失，我们引入了原图信息作为补充。如图8所示，引入原图信息后，插值图片的质量得到了明显的提升。这表明原图信息在弥补信息损失方面发挥了重要作用。通过结合潜在变量的约束和原图信息的补充，我们能够在保证图片质量的同时，减少信息损失，实现更为准确和自然的插值效果。
Design 3：
球面线性插值法是一种依赖于计算两个潜在变量之间角度的插值方法。然而，在实际应用中，我们观察到这些潜在变量之间往往呈现出近乎正交的状态。为了解释这一现象，我们引入了定理二作为理论支撑。
图9：引入不同大小的高斯噪声
图10：结合Design 1减少引入的高斯噪声的量
从图9可以看出，随着我们逐步增加引入的高斯噪声量，插值图片的质量得到了显著提升。然而，这一改进并非没有代价，因为随着噪声量的增加，引入的额外信息也在逐渐增多。在实际插值过程中，为了在满足质量要求的同时尽量减少额外信息的引入，我们结合了前面提到的策略来有效地降低所需引入的高斯噪声的量（图10），从而更好地保留原始图像的信息。
Experiment
图11：和球面线性插值法的比较
我们将所提出的方法与球面线性插值法的结果进行了比较（如图11所示）。从插值结果来看，我们的方法在显著提高插值图片质量的同时，几乎不丢失信息。这充分展示了我们方法在保持信息完整性和提升图像质量方面的优越性能。
我们还在Stable Diffusion[4]上做了实验，由于Stable Diffusion的高度非结构化的潜在空间，在处插值很难得到平滑的插值（图12）。因此我们考虑在更小的时间步上进行插值（），这可以更多的保留原图的特征以让插值结果更加平滑，但是却导致了图片质量的降低（图13）。为了解决这个问题，我们运用了我们的方法NoiseDiffusion来修正潜在变量（图14）。从实验结果可以看出，我们的方法在较少改变信息的情况下，显著提高了图片的质量。
图12：在时使用球面线性插值法
图13:在时使用球面线性插值法
图14：在时使用NoiseDiffusion插值
Reference
[1] Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon, and Ben Poole. Score-based generative modeling through stochastic differential equations. In ICLR,2021.
[2] Jiaming Song, Chenlin Meng, and Stefano Ermon. Denoising diffusion implicit models. In ICLR,2021.
[3] Chenlin Meng, Yutong He, Yang Song, Jiaming Song, Jiajun Wu, Jun-Yan Zhu, and Stefano Ermon.
Sdedit: Guided image synthesis and editing with stochastic differential equations. In ICLR, 2022.
[4]Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Bjorn Ommer. Highresolution image synthesis with latent diffusion models. In CVPR, 2022.
[5] Weihao Xia, Yulun Zhang, Yujiu Yang, Jing-Hao Xue, Bolei Zhou, and Ming-Hsuan Yang. Gan
inversion: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022.
课题组介绍
香港浸会大学可信机器学习和推理课题组 (TMLR Group) 由多名青年教授、博士后研究员、博士生、访问博士生和研究助理共同组成，课题组隶属于理学院计算机系。课题组专攻可信表征学习、基于因果推理的可信学习、可信基础模型等相关的算法，理论和系统设计以及在自然科学上的应用，具体研究方向和相关成果详见本组Github (https://github.com/tmlr-group)。课题组由政府科研基金以及工业界科研基金资助，如香港研究资助局杰出青年学者计划，国家自然科学基金面上项目和青年项目，以及微软、英伟达、百度、阿里、腾讯等企业的科研基金。青年教授和资深研究员手把手带，GPU计算资源充足，长期招收多名博士后研究员、博士生、研究助理和研究实习生。此外，本组也欢迎自费的访问博士后研究员、博士生和研究助理申请，访问至少3-6个月，支持远程访问。有兴趣的同学请发送个人简历和初步研究计划到邮箱 ([email protected])。
