生成式模型进入「及时」时代？
文生图、图生图已经不是什么新鲜事。但在使用这些工具的历程中，我们发现它们通常运行缓慢，导致我们要等一段时间才能拿到生成结果。
但最近，一种名叫「LCM」的模型改变了这种情况，它甚至能做到及时的连续生图。
图源：https://twitter.com/javilopen/status/1724398666889224590
LCM 的全称是 Latent Consistency Models（潜伏一致性模型），由清华大学交叉信息研究院的研究者们构建。在这个模型发布之前，Stable Diffusion 等潜伏散布模型（LDM）由于迭代采样历程计算量大，生成速度非常缓慢。通过一些创新性的方法，LCM 只用少数的几步推理就能生成高分辨率图象。据统计，LCM 能将主流文生图模型的效率提高 5-10 倍，所以能呈现出及时的效果。
论文链接：https://arxiv.org/pdf/2310.04378.pdf
项目地址：https://github.com/luosiallen/latent-consistency-model
该文章发布一个月内浏览量超百万，作者也被邀请在 Hugging Face、Replicate、浦源等多个平台部署新研发的 LCM 模型和 demo。其中 Hugging Face 平台上 LCM 模型下载量已超 20 万次，而在 Replicate 中在线 API 调用已超 54 万次。
在此基础上，研究团队进一步提出 LCM-LoRA，可以将 LCM 的快捷采样能力在未经任何额外训练的情况下迁移到其他 LoRA 模型上，为开源社区已经存在的大量不同画风的模型提供了一个直接而有效的解决方案。
技术报告链接：https://arxiv.org/pdf/2311.05556.pdf
潜伏一致性模型的快捷生成能力为图象生成技术开辟了新的应用领域。这种模型可以快捷地根据输入的文本（Prompt）处理和渲染及时捕捉到的画面，从而实现高速图象生成。这意味着用户可以自定义他们想要展示的场景或视觉效果。
在 X 平台上，不少研究者也晒出了他们利用该模型实现的生成效果，包括图生图、视频生成、图象编辑、及时视频渲染等各类应用。
图源：https://twitter.com/javilopen/status/1724398666889224590
图源：https://twitter.com/javilopen/status/1724398708052414748
作者团队现已完全开源 LCM 的代码，并开放了基于 SD-v1.5、SDXL 等预训练模型在内蒸馏得到的模型权重文件和在线 demo。此外，Hugging Face 团队已经将潜伏一致性模型集成进入 diffusers 官方仓库，并在两个接连的正式版本 v0.22.0 和 v0.23.0 中先后更新了 LCM 和 LCM-LoRA 的相关代码框架，提供了对潜伏一致性模型的良好支持。在 Hugging Face 上开放的模型在今日的热度榜中达到全平台文生图模型热度第一，全类别模型热度第三。
接下来，我们将分别介绍 LCM 和 LCM-LoRA 这两项研究成果。
LCM：只用几步推理就能生成高分辨率图象
AIGC 时代，包括 Stable Diffusion 和 DALL-E 3 等基于散布模型的文生图模型受到了广泛关注。散布模型通过向训练数据添加噪声，然后逆转这一历程来生成高质量图象。然而，散布模型生成图片需要从事多步采样，这一历程相对较慢，增加了推理成本。缓慢的多步采样问题是部署这类模型时的主要瓶颈。
OpenAI 的宋飏博士在今年提出的一致性模型（Consistency Model，CM）为解决上述问题提供了一个思路。一致性模型被指出在设计上具有单步生成的能力，展现出极大的减速散布模型的生成的潜力。然而，由于一致性模型局限于无条件图片生成，导致包括文生图、图生图等在内的许多实际应用还难以享受这一模型的潜伏优势。
潜伏一致性模型（Latent Consistency Model，LCM）就是为解决上述问题而诞生的。潜伏一致性模型支持给定条件的图象生成任务，并结合了潜伏编码、无分类器引导等诸多在散布模型中被广泛应用的技术，大大减速了条件去噪历程，为诸多具有实际应用意义的任务打开了一条通路。
LCM 技术细节
具体而言，潜伏一致性模型将散布模型的去噪问题解读为求解如下所示的增广概率流常微分方程的历程。
传统的散布模型采用数值方法对常微分方程从事迭代求解，虽然可以通过设计更加精确的求解器来改善每一步的求解精度，减少所需要的迭代次数，但是这些方法中最好的也仍然需要 10 步左右的迭代步数来得到足够好的求解结果。
不同于迭代求解这一常微分方程，潜伏一致性模型要求对常微分方程从事直接的单步求解，直接预测方程的最终解，从而在理论上能够在单步内生成图片。
为了训练得到潜伏一致性模型，该研究指出可以通过对于预训练的散布模型（例如，Stable Diffusion）从事参数微调，在极少的资源消耗下赋予模型快捷生成的效果。这一蒸馏历程基于对宋飏博士提出的一致性损失函数的优化。为了在文生图任务上获得更好的表现并减少计算开销，本文提出了三点关键技术：
（1）使用预训练的自动编码器将原始图片编码到潜伏空间，在压缩图片中冗余信息的同时让图片在语义上具有更好的一致性；
（2）将无分类器引导作为模型的一个输入参数蒸馏进潜伏一致性模型中，在享受无分类器引导带来的更好的图片 – 文本的一致性的同时，由于无分类器引导幅度被作为输入参数蒸馏进了潜伏一致性模型，从而能够减少推理时的所需要的计算开销；
（3）使用跳步策略来计算一致性损失，大大加快了潜伏一致性模型的蒸馏历程。潜伏一致性模型的蒸馏算法的伪代码见下图。
定性和定量化的结果展示了潜伏一致性模型的快捷生成能力，该模型能够在 1~4 步内生成高质量图片。通过比较实际的推理时间和生成质量指标 FID，可以看到，潜伏一致性模型相比于现有的最快的采样器之一的 DPM solver++ 能够在保持同等生成质量的前提下实现约 4 倍的实际推理时间减速。
LCM 生成的图象
LCM-LORA: 一个通用的 Stable Diffusion 减速模块
在潜伏一致性模型的基础上，作者团队随后进一步发布了他们关于 LCM-LoRA 的技术报告。由于潜伏一致性模型的蒸馏历程可以被视作是对于原有的预训练模型的微调历程，从而可以使用 LoRA 等高效微调技术来训练潜伏一致性模型。得益于 LoRA 技术带来的资源节省，作者团队在 Stable Diffusion 系列中参数量最大的 SDXL 模型上从事了蒸馏，成功得到了能够在极少步数内生成与 SDXL 数十步相媲美的潜伏一致性模型。
在论文 INTRODUCTION 部分，该研究表示尽管潜伏散布模型（LDM）在文生图、线稿生图等方面取得了成功，但其固有的缓慢反向采样历程阻碍了及时应用，影响了用户体验。目前的开源模型和减速技术还无法在标准消费级 GPU 上实现及时生成。
减速 LDM 的方法一般分为两类：第一类涉及先进的 ODE 求解器，如 DDIM、DPMSolver 和 DPM-Solver++，以加快生成历程。第二类涉及蒸馏 LDM 以简化其功能。ODE – 求解器减少了推理方法，但仍需要大量的计算开销，尤其是在采用无分类器指导时。同时，蒸馏方法（如 Guided-Distill）虽然前景广阔，但由于其密集的计算要求而面临实际限制。在 LDM 生成图象的速度和质量之间寻求平衡仍然是该领域的一项挑战。
最近，受一致性模型（Consistency Model，CM）的启发，潜伏一致性模型（Latent Consistency Model，LCM）出现了，作为图象生成中缓慢采样问题的一种解决方案。LCM 将反向散布历程视为增强概率流 ODE（PF-ODE）问题。这类模型创新性地预测了潜空间中的解，不需要通过数值 ODE 求解器从事迭代求解。因此，它们合成高分辨率图象的效率非常高，只需 1 到 4 个推理方法。此外，LCM 在蒸馏效率方面也很突出，只需用 A100 个训练 32 个小时就能完成最小方法的推理。
在此基础上，Latent Consistency Finetuning（LCF）被开发为一种无需从教师散布模型开始就能对预训练 LCM 从事微调的方法。对于专业数据集，如动漫、真实照片或奇幻图象数据集，它还需要额外的方法，如采用潜伏一致性蒸馏法（LCD）将预训练的 LDM 蒸馏为 LCM，或直接使用 LCF 对 LCM 从事微调。然而，这种额外的训练可能会阻碍 LCM 在不同数据集上的快捷部署，这就提出了一个关键问题：是否可以在自定义数据集上实现快捷、无需训练的推理。
为了回答上述问题，研究者提出了 LCM-LoRA，它是一种通用的免训练减速模块，可以直接插入各种 Stable-Diffusion（SD）微调模型或 SD LoRA 中，以最少的方法支持快捷推理。与 DDIM、DPM-Solver 和 DPM-Solver++ 等早期数值概率流 ODE（PF-ODE）求解器相比，LCM-LoRA 代表了一类基于神经网络的新型 PF-ODE 求解器模块。它在各种微调的 SD 模型和 LoRA 中展示了强大的泛化能力。
LCM-LoRA 概况图。通过在 LCM 的蒸馏历程中引入 LoRA，该研究大大减少了蒸馏的内存开销，这使得他们能够利用有限的资源训练更大的模型，例如 SDXL 和 SSD-1B。更重要的是，通过 LCM-LoRA 训练获得的 LoRA 参数（acceleration vector）可以直接与在特定风格数据集上微调获得的其他 LoRA 参数（style vetcor）相结合。无需任何训练，通过 acceleration vector 和 style vetcor 的线性组合获得的模型就能以最少的采样方法生成特定绘画风格的图象。
LCM-LoRA 技术细节
通常来讲，潜伏一致性模型的训练采用单阶段指导蒸馏方式从事，这种方法利用预训练的自编码器潜伏空间将指导散布模型蒸馏为 LCM。此历程涉及增强概率流 ODE，我们可以将其理解为一种数学公式，这样一来可确保生成的样本遵循生成高质量图象的轨迹。
值得一提的是，蒸馏的重点是保持这些轨迹的保真度，同时显着减少所需的采样方法数量。算法 1 提供了 LCD 的伪代码。
由于 LCM 的蒸馏历程是在预训练散布模型的参数上从事的，因此我们可以将潜伏一致性蒸馏视为散布模型的微调历程，从而就可以采用一些高效的调参方法，如 LoRA。
LoRA 通过应用低秩分解来更新预训练的权重矩阵。具体而言，给定一个权重矩阵
，其更新方式表述为
，其中
，训练历程中，W_0 保持不变，梯度更新只应用于 A 和 B 两个参数。因而对于输入 x，前向传播的更改表述为：
h 代表输出向量，从公式（1）可以观察到，通过将完整参数矩阵分解为两个低秩矩阵的乘积，LoRA 显着减少了可训练参数的数量，从而降低了内存使用量。
下表将完整模型中的参数总数与使用 LoRA 技术时的可训练参数从事了比较。显然，通过在 LCM 蒸馏历程中结合 LoRA 技术，可训练参数的数量显着减少，有效降低了训练的内存需求。
该研究通过一系列实验表明 ：LCD 范式可以很好地适应更大的模型如 SDXL 、 SSD-1B ，不同模型的生成结果如图 2 所示。
除了使用 LoRA 技术来让蒸馏历程更加高效，作者还发现了由此训练得到的 LoRA 参数可以被作为一种泛用的减速模块，直接与其他 LoRA 参数结合。
如上图 1 所示，作者团队发现，只需要将在特定风格数据集上微调得到的 “风格参数” 与经过潜伏一致性蒸馏得到的 “减速参数” 从事简单的线性组合，就可以获得兼具快捷生成能力和特定风格的全新潜伏一致性模型。这一发现为现有开源社区内已存在的大量开源模型提供了极强的助力，使得这些模型甚至可以在无需任何额外训练的情况下享受潜伏一致性模型带来的减速效果。
下图展示了使用这一方法改善 “剪纸画风” 模型后得到的新的模型的生成效果。
总之，LCM-LoRA 是一种用于 Stable-Diffusion (SD) 模型的通用免训练减速模块。其可以作为独立且高效的基于神经网络的求解器模块来预测 PF-ODE 的解，从而能够在各种微调的 SD 模型和 SD LoRA 上以最少的方法从事快捷推理。大量的文本到图象生成实验证明了 LCM-LoRA 强大的泛化能力和优越性。
团队介绍
论文作者成员全部来自清华叉院，两位共同一作分别是骆思勉，谭亦钦。
骆思勉是清华叉院二年级硕士，导师为赵行老师。本科毕业于复旦大学大数据学院。研究方向为多模态生成模型，研究兴趣为散布模型，一致性模型，AIGC减速，致力于研发下一代生成模型。此前也以一作身份多篇论文发表在ICCV，NeurIPS顶会上。
谭亦钦是清华叉院二年级硕士，导师为黄隆波老师。本科毕业于清华大学电子工程系。研究方向包括深度强化学习、散布模型。此前以一作身份在ICLR等会议上发表spotlight论文和口头报告。
值得一提的是，两位共一是在叉院李建老师的高等计算机理论课上，提出了LCM的想法，并最后作为期末课程项目从事了展示。三位指导老师中，李建和黄隆波是清华交叉信息院副教授，赵行是清华交叉信息院助理教授。
第一行（从左到右）:骆思勉、谭亦钦。第二行（从左到右）：黄隆波、李建、赵行。