新一代视觉生成范式「VAR: Visual Auto Regressive」视觉自返回来了！使 GPT 风格的自返回模型在图象生成首次超越扩散模型，并观察到与大语言模型相似的 Scaling Laws 缩放定律、Zero-shot Task Generalization 泛化才能：
论文标题: "Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction"
这项名为 VAR 的新工作由北京大学和字节跳动的研究者提出，登上了 GitHub 和 Paperwithcode 热度榜单，并得到大量同行关注：
目前体验网站、论文、代码、模型已放出：
体验网站：https://var.vision/
论文链接：https://arxiv.org/abs/2404.02905
开源代码：https://github.com/FoundationVision/VAR
开源模型：https://huggingface.co/FoundationVision/var
背景介绍
在自然语言处理中，以 GPT、LLaMa 系列等大语言模型为例的 Autoregressive 自返回模型已经取得了较大的成功，尤其 Scaling Law 缩放定律和 Zero-shot Task Generalizability 零样本任务泛化才能十分亮眼，初步展示出通往「通用人工智能 AGI」的潜力。
然而在图象生成领域中，自返回模型却广泛落后于扩散（Diffusion）模型：近期持续刷屏的 DALL-E3、Stable Diffusion3、SORA 等模型均属于 Diffusion 家族。此外，对于视觉生成领域是否存在「Scaling Law 缩放定律」仍未知，即测试集损失是否随模型或训练开销增长而呈现出可猜测的幂律 (Power-law) 下降趋势仍待探索。
GPT 形式自返回模型的强大才能与 Scaling Law，在图象生成领域，似乎被「锁」住了：
自返回模型在生成结果榜单上落后于一众 Diffusion 模型
剑指「解锁」自返回模型的才能和 Scaling Laws，研究团队从图象模态内在本质出发，模仿人类处理图象的逻辑挨次，提出一套全新的「视觉自返回」生成范式：VAR, Visual AutoRegressive Modeling，首次使得 GPT 风格的自返回视觉生成，在结果、速度、Scaling 才能多方面超越 Diffusion，并迎来了视觉生成领域的 Scaling Laws：
VAR 方法核心：模仿人类视觉，重新定义图象自返回挨次
人类在感知图象或进行绘画时，往往先概览全局、再深入细节。这种由粗到细、从把握整体到精调局部的思想非常自然：
人类感知图片（左）与创作画作（右）由粗到细的逻辑挨次
然而，传统的图象自返回（AR）却使用一种不符合人类直觉（但适合计算机处理）的挨次，即自上而下、逐行扫描的光栅挨次（或称 raster-scan 挨次），来逐个猜测图象 token：
VAR 则「以人为本」，模仿人感知或人创造图象的逻辑挨次，使用从整体到细节的多标准挨次逐渐生成 token map：
除了更自然、更符合人类直觉，VAR 带来的另一个显著优势是大幅提高了生成速度：在自返回的每一步（每一个标准内部），所有图象 token 是一次性并行生成的；跨标准则是自返回的。这使得在模型参数和图片尺寸相当的情况下，VAR 能比传统 AR 快数十倍。此外，在试验中作者也观察到 VAR 相比 AR 展现出更强的性能和 Scaling 才能。
VAR 方法细节：两阶段训练
VAR 在第一阶段训练一个多标准量化自动编码器（Multi-scale VQVAE），在第二阶段训练一个与 GPT-2 结构一致（结合使用 AdaLN）的自返回 Transformer。
如左图所示，VQVAE 的训练前传细节如下：
离散编码：编码器将图片转化为离散 token map R=(r1, r2, …, rk)，分辨率从小到大
连续化：r1 至 rk 先通过嵌入层转换为连续 feature map，再统一插值到 rk 对应最大分辨率，并求和
连续解码：求和后的 feature map 经过解码器得到重建图片，并通过重建 + 感知 + 对抗三个损失混合训练
如右图所示，在 VQVAE 训练结束后，会进行第二阶段的自返回 Transformer 训练：
自返回第一步是通过起始 token [S] 猜测最初的 1×1 token map
随后每一步，VAR 都基于历史所有的 token map 去猜测下一个更大标准的 token map
训练阶段，VAR 使用标准的交叉熵损失监督这些 token map 的概率猜测
测试阶段，采样得到的 token map 会借助 VQVAE 进行连续化、插值求和、解码，从而得到最终生成的图象
作者表示，VAR 的自返回框架是全新的，而具体技术方面则吸收了 RQ-VAE 的残差 VAE、StyleGAN 与 DiT 的 AdaLN、PGGAN 的 progressive training 等一系列经典技术的长处。VAR 实际是站在巨人的肩膀上，聚焦于自返回算法本身的创新。
试验结果对比
VAR 在 Conditional ImageNet 256×256 和 512×512 上进行试验：
VAR 大幅提升了 AR 的结果，一转 AR 落后于 Diffusion 的局面
VAR 仅需 10 步自返回步骤，生成速度大幅超过 AR、Diffusion，甚至逼近 GAN 的高效率
通过 Scale up VAR 直至 2B/3B，VAR 达到了 SOTA 水平，展现出一个全新的、有潜力的生成模型家族。
令人关注的是，通过与 SORA、Stable Diffusion 3 的基石模型 Diffusion Transformer（DiT）对比，VAR 展现出了：
更好结果：经过 scale up，VAR 最终达到 FID=1.80，逼近理论上的 FID 下限 1.78（ImageNet validation set），显著优于 DiT 最优的 2.10
更快速度：VAR 只需不到 0.3 秒即可生成一张 256 图象，速度是 DiT 的 45 倍；在 512 上更是 DiT 的 81 倍
更好 Scaling 才能：如左图所示，DiT 大模型在增长至 3B、7B 后体现出饱和现象，无法靠近 FID 下限；而 VAR 经过缩放到 20 亿参数，性能不断提升，最终触及 FID 下限
更高效的数据利用：VAR 仅需 350 epoch 训练即超过 DiT 1400 epoch 训练
这些比 DiT 更高效、更高速、更可扩放的证据为新一代视觉生成的基础架构路径带来了更多可能性。
Scaling Law 试验
Scaling law 可谓是大语言模型的「皇冠明珠」。相关研究已经确定，在 Scale up 自返回大型语言模型过程中，测试集上的交叉熵损失 L，会随着模型参数量 N、训练 token 个数 T，以及计算开销 Cmin 进行可猜测的降低，呈现出幂律（Power-law）关系。
Scaling law 不仅使根据小模型猜测大模型性能成为可能，节省了计算开销和资源分配，也体现出自返回 AR 模型强大的学习才能，测试集性能随着 N、T、Cmin 增长。
通过试验，研究者观察到了 VAR 展现出与 LLM 几乎完全一致的幂律 Scaling Law：研究者训练了 12 种大小的模型，缩放模型参数量从 1800 万到 20 亿，总计算量横跨 6 个数量级，最大总 token 数达到 3050 亿，并观察到测试集损失 L 或测试集错误率 与 N 之间、L 与 Cmin 之间展现出平滑的的幂律关系，并拟合良好：
在 scale-up 模型参数和计算量过程中，模型的生成才能可见得到逐步提升（例如下方示波器条纹）：
Zero-shot 试验
得益于自返回模型能够使用 Teacher-forcing 机制强行指定部分 token 不变的这一优良性质，VAR 也展现出一定的零样本任务泛化才能。在条件生成任务上训练好的 VAR Transformer，不通过任何微调即可零样本泛化到一些生成式任务中，例如图象补全（inpainting）、图象外插（outpainting）、图象编辑（class-condition editing），并取得一定结果：
结论
VAR 为如何定义图象的自返回挨次提供了一个全新的视角，即由粗到细、由全局轮廓到局部精调的挨次。在符合直觉的同时，这样的自返回算法带来了很好的结果：VAR 显著提升自返回模型的速度和生成质量，在多方面使得自返回模型首次超越扩散模型。同时 VAR 展现出类似 LLM 的 Scaling Laws、Zero-shot Generalizability。作者们希望 VAR 的思想、试验结论、开源，能够贡献社区探索自返回范式在图象生成领域的使用，并促进未来基于自返回的统一多模态算法的发展。