作者 | Pengfei Zheng
单位 | USTC, HKBU TMLR Group
最近生成式AI的迅猛发展为文本到图像生成、视频生成等令人瞩目的领域注入了强大的动力，这些技术的核心在于聚集模型的应用。聚集模型首先通过定义一个不断加噪声的前向过程来将图片逐步变为高斯噪声，再通过逆向过程将高斯噪声逐步去噪变为清晰图片以得到采样。其中聚集常微分模型可以被用于生成的图片的插值，这在生成视频以及一些广告创意上有着极大的应用潜力。然而，我们注意到，当这种步骤应用于做作图片时，插值出的图片效果往往不尽如人意。
通常情况下，聚集模型会对高斯噪声举行采样，然后逐步去噪以生成高品质的图片。插值图片的低品质意味着其潜伏变量不再遵循我们所期望的高斯分布。为了提高插值图片的品质，我们需要确保潜伏变量更接近于从高斯分布中采样得到。然而，直接对潜伏变量举行缩放和偏移会严重破坏生成的图片，并且为了保留原始图片的信息，我们不能过多地修改潜伏变量。因此，在尽可能不破坏潜伏变量的情况下提高插值图片的品质成为一个难题。
我们首先改变潜伏变量的噪声程度来分析了什么样的潜伏变量能够被聚集模型还原成高品质的图片，并分离SDEdit步骤引入高斯噪声来提高插值图片的品质，然而高斯噪声的引入会带来额外的信息。此外我们还分析了高维空间中潜伏变量的正交性，这为我们步骤奠定了基础。我们分离球面线性插值法和直接引入噪声的步骤，提出了一个全新的插值步骤：对潜伏变量的极值举行拘束，并分离微小的高斯噪声使其更接近预期的分布，且引入了原始图片来缓解信息丢失的问题。利用这种插值步骤，我们能够在保留原图信息的同时，昭著提高做作图片的插值结果。
接下来，我将简要向大家分享我们的研讨结果。
论文标题：NoiseDiffusion: Correcting Noise for Image Interpolation with Diffusion Models beyond Spherical Linear Interpolation
论文链接：https://arxiv.org/pdf/2403.08840.pdf
代码链接：https://github.com/tmlr-group/NoiseDiffusion
Introduction
图1：球面线性插值法在人脸图片上的运用
聚集模型最常用的图片插值步骤是球面线性插值法[1,2]：
我们将这种步骤运用在做作图片上。从图2可以观察到，当在做作图片上应用球面线性插值法时，插值效果昭著下降。
图2：做作图片和生成的图片插值效果比较
Analysis
图3：不同噪声程度的高斯噪声去噪的效果
我们首先研讨噪声程度对生成图片的影响。观察到只有当高斯噪声的程度与去噪的程度匹配时（中间的图片），才能得到品质较高的图片。如果噪声程度低于去噪程度（右图），或者高于去噪程度（左图），都会降低生成图片的品质。我们使用定理一来解释这种现象：
定理一阐述了在高维空间中，标准高斯噪声的分布特性：它们主要集中在一个超球面上。在这个超球面的内侧，尽管点的概率密度相对较高，但由于其占据的体积较小，其整体贡献并不昭著；而在超球面的外侧，虽然点的体积较大，但由于概率密度随着距离的增大而迅速衰减，因此外侧点的贡献同样可以忽略不计。因此，在训练聚集模型时，我们主要观察到的潜伏变量集中在超球面上，而超球面内侧和外侧的潜伏变量由于这些原因难以有效举行去噪。
图4：做作图片插值失败的原因
做作图片通常具有聚集模型在训练过程中未曾见过的复杂特征，这使得聚集模型在尝试将做作图片转换为标准高斯噪声时遇到困难。具体而言，这些图片的潜伏变量可能包含高于或低于模型去噪能力范围的高斯噪声。然而，聚集模型的能力主要局限于还原定理一中所描述的超球面上的高斯噪声。对于超出这一范围的噪声，模型往往无法有效处理。因此，在举行图片插值时，通常会产生品质较低的插值图片。
Introducing noise
图5：直接引入噪声插值
为了改善图片的品质，使潜伏变量更接近超球面，我们采用了分离 SDEdit[3] 的步骤。具体而言，我们直接向图片添加标准高斯噪声，然后举行插值，最后举行去噪处理。通过图5可以清晰地看出，这种步骤昭著提升了插值图片的品质。然而，需要注意的是，如图中所示，这种处理步骤同时也会引入一些额外的信息。
Method
图6：NoiseDiffusion的整体设计
为了提高图片品质并尽可能减少信息丢失，我们创新地分离了球面线性插值法与直接引入噪声的插值步骤，提出了全新的NoiseDiffusion步骤。如图6所示，NoiseDiffusion的整体设计既考虑了插值过程中的信息保留，又通过引入噪声提升了图片品质，实现了两者之间的有效平衡。接下来，我们将详细阐述NoiseDiffusion的设计思路。
Design 1：
图7：对潜伏变量的极值举行拘束
根据统计学的，超出一定范围的噪声分量可以被视为异常值。且分离图3，我们发现高于去噪程度的高斯噪声会产生明显的噪点，而这与做作图片的插值结果上的异常色块非常相近，因此我们有理由认为是潜伏变量的极值导致了这些异常色块的产生。基于这些分析，我们对潜伏变量的极值施加了拘束，以控制这些异常噪声的影响。从图7可以看出，通过对潜伏变量极值的拘束，我们大幅提升了图片的品质。
Design 2：
图8：引入原图信息
在对潜伏变量施加拘束时，我们可能会不小心影响到一些正常的分量，从而导致信息的损失。为了弥补这一潜伏的信息损失，我们引入了原图信息作为补充。如图8所示，引入原图信息后，插值图片的品质得到了明显的提升。这表明原图信息在弥补信息损失方面发挥了重要作用。通过分离潜伏变量的拘束和原图信息的补充，我们能够在保证图片品质的同时，减少信息损失，实现更为准确和做作的插值效果。
Design 3：
球面线性插值法是一种依赖于计算两个潜伏变量之间角度的插值步骤。然而，在实际应用中，我们观察到这些潜伏变量之间往往呈现出近乎正交的状态。为了解释这一现象，我们引入了定理二作为理论支撑。
图9：引入不同大小的高斯噪声
图10：分离Design 1减少引入的高斯噪声的量
从图9可以看出，随着我们逐步增加引入的高斯噪声量，插值图片的品质得到了昭著提升。然而，这一改进并非没有代价，因为随着噪声量的增加，引入的额外信息也在逐渐增多。在实际插值过程中，为了在满足品质要求的同时尽量减少额外信息的引入，我们分离了前面提到的策略来有效地降低所需引入的高斯噪声的量（图10），从而更好地保留原始图像的信息。
Experiment
图11：和球面线性插值法的比较
我们将所提出的步骤与球面线性插值法的结果举行了比较（如图11所示）。从插值结果来看，我们的步骤在昭著提高插值图片品质的同时，几乎不丢失信息。这充分展示了我们步骤在保持信息完整性和提升图像品质方面的优越性能。
我们还在Stable Diffusion[4]上做了实验，由于Stable Diffusion的高度非结构化的潜伏空间，在处插值很难得到平滑的插值（图12）。因此我们考虑在更小的时间步上举行插值（），这可以更多的保留原图的特征以让插值结果更加平滑，但是却导致了图片品质的降低（图13）。为了解决这个问题，我们运用了我们的步骤NoiseDiffusion来修正潜伏变量（图14）。从实验结果可以看出，我们的步骤在较少改变信息的情况下，昭著提高了图片的品质。
图12：在时使用球面线性插值法
图13:在时使用球面线性插值法
图14：在时使用NoiseDiffusion插值
Reference
[1] Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon, and Ben Poole. Score-based generative modeling through stochastic differential equations. In ICLR,2021.
[2] Jiaming Song, Chenlin Meng, and Stefano Ermon. Denoising diffusion implicit models. In ICLR,2021.
[3] Chenlin Meng, Yutong He, Yang Song, Jiaming Song, Jiajun Wu, Jun-Yan Zhu, and Stefano Ermon.
Sdedit: Guided image synthesis and editing with stochastic differential equations. In ICLR, 2022.
[4]Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Bjorn Ommer. Highresolution image synthesis with latent diffusion models. In CVPR, 2022.
[5] Weihao Xia, Yulun Zhang, Yujiu Yang, Jing-Hao Xue, Bolei Zhou, and Ming-Hsuan Yang. Gan
inversion: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022.
课题组介绍
香港浸会大学可托机器学习和推理课题组 (TMLR Group) 由多名青年教授、博士后研讨员、博士生、访问博士生和研讨助理共同组成，课题组隶属于理学院计算机系。课题组专攻可托表征学习、基于因果推理的可托学习、可托基础模型等相关的算法，理论和系统设计以及在做作科学上的应用，具体研讨方向和相关成果详见本组Github (https://github.com/tmlr-group)。课题组由政府科研基金以及工业界科研基金资助，如香港研讨资助局杰出青年学者计划，国家做作科学基金面上项目和青年项目，以及微软、英伟达、百度、阿里、腾讯等企业的科研基金。青年教授和资深研讨员手把手带，GPU计算资源充足，长期招收多名博士后研讨员、博士生、研讨助理和研讨实习生。此外，本组也欢迎自费的访问博士后研讨员、博士生和研讨助理申请，访问至少3-6个月，支持远程访问。有兴趣的同学请发送个人简历和初步研讨计划到邮箱 ([email protected])。