英伟达开源4K图像生成模型Sana，可在16G显存电脑部署，支持ComfyUI和LoRA训练

英伟达开源了一个可以直接生成 4K 图片的模型 Sana。 Sana-0.6B 可以在 16GB 的笔记本电脑 GPU 上部署。生成 1024 × 1024 分辨率的图像只需不到 1 秒钟。

英伟达开源了一个可以直接生成 4K 图片的模型 Sana。 Sana-0.6B 可以在 16GB 的笔记本电脑 GPU 上部署。生成 1024 × 1024 分辨率的图像只需不到 1 秒钟。官方已经支持了 Comfyui，而且放出了 Lora 训练工具。

论文介绍

Sana是一个文本到图像的框架，可以高效地生成分辨率高达 4096 × 4096 的图像。Sana 可以以极快的速度合成具有强大文本-图像对齐功能的高分辨率、高质量图像，可在笔记本电脑的 GPU 上部署。

核心设计包括：

深度压缩自动编码器：与仅将图像压缩 8 倍的传统 AE 不同，我们训练了一个可以将图像压缩 32 倍的 AE，从而有效减少了潜在标记的数量。 - 线性 DiT：我们用线性注意力取代了 DiT 中的所有原始注意力，这在高分辨率下效率更高，且不会牺牲质量。
仅解码器的文本编码器：我们用现代仅解码器的小型 LLM 取代了 T5 作为文本编码器，并设计了具有上下文学习的复杂人工指令以增强图像-文本对齐。高效的训练和采样：我们提出了 Flow-DPM-Solver 来减少采样步骤，并通过高效的字幕标记和选择来加速收敛。

因此，Sana-0.6B 与现代巨型扩散模型（例如 Flux-12B）相比极具竞争力，其体积小 20 倍，测量吞吐量快 100 多倍。此外，Sana-0.6B 可以部署在 16GB 笔记本电脑 GPU 上，生成 1024 × 1024 分辨率图像只需不到 1 秒。Sana 可以以低成本实现内容创建。

提高效率的几个核心设计细节

深度压缩自动编码器：我们引入了一种新的深度压缩自动编码器 (DC-AE)，将缩放因子大幅增加到 32。与 AE-F8 相比，我们的 AE-F32 输出的潜在标记减少了 16 倍，这对于高效训练和生成超高分辨率图像（例如 4K 分辨率）至关重要。

高效的线性 DiT：我们引入了一种新的线性 DiT，取代了香草二次注意力，并将复杂度从 O(N2) 降低到O(N)。Mix-FFN 在 MLP 中使用 3×3 深度卷积，增强了 token 的局部信息。线性注意力实现与香草相当的结果，将 4K 生成的延迟提高了 1.7 倍。Mix-FFN 还消除了位置编码 (NoPE) 的需要，并且没有质量损失，标志着第一个没有位置嵌入的 DiT。
仅解码器的小型 LLM 作为文本编码器：我们使用仅解码器的 LLM Gemma 作为文本编码器，以增强提示中的理解和推理。与 CLIP 或 T5 不同，Gemma 提供了卓越的文本理解和指令遵循能力。我们解决了训练不稳定性问题，并设计了复杂的人工指令 (CHI) 来利用 Gemma 的上下文学习，改善图像-文本对齐。

高效的训练和推理策略：我们提出了自动标记和训练策略来提高文本与图像的一致性。多个 VLM 生成不同的重新字幕，基于 CLIPScore 的策略选择高 CLIPScore 字幕以增强收敛和对齐。此外，与 Flow-Euler-Solver 相比，我们的Flow-DPM-Solver将推理步骤从 28-50 减少到 14-20，性能更佳。

总体表现

我们在表 1 中将 Sana 与最先进的文本到图像扩散模型进行了比较。对于 512 × 512 分辨率，Sana-0.6 的吞吐量比具有相似模型大小的 PixArt-Σ 快 5 倍，并且在 FID、Clip Score、GenEval 和 DPG-Bench 中的表现明显优于它。对于 1024 × 1024 分辨率，Sana 比大多数具有 <3B 参数的模型要强得多，并且在推理延迟方面表现出色。即使与最先进的大型模型 FLUX-dev 相比，我们的模型也能实现具有竞争力的性能。例如，虽然 DPG-Bench 上的准确率相当，GenEval 上的准确率略低，但 Sana-0.6B 的吞吐量快 39 倍，Sana-1.6B 快 23 倍。

ComfyUI 使用

作者已经开发了插件来将 Sana 与 ComfyUI 集成。

插件：https://github.com/Efficient-Large-Model/ComfyUI_ExtraModels
GitHub：https://github.com/NVlabs/Sana/blob/main/asset/docs/ComfyUI/comfyui.md

ComfyUI：https://github.com/NVlabs/Sana/blob/main/asset/docs/ComfyUI/comfyui.md

Sana-LoRA Dreambooth

Sana-LoRA 由 diffusers 支持。查看我们的指南来训练您的自定义模型。我们在下面展示了 Sana-LoRA 微调过程中的一些示例。

链接：https://github.com/NVlabs/Sana/blob/main/asset/docs/sana_lora_dreambooth.md