1. 一眼概览
ZeroDiff 提出了一种基于扩散模型的生成式零样本学习（ZSL）方法，提升数据利用效率，实现类别级和实例级的增强。在多个ZSL基准数据集上，ZeroDiff 取得了显著的性能提升，特别是在数据稀缺情况下仍保持稳健。
2. 核心问题
零样本学习（ZSL）试图在无训练样本的情况下识别新类别，主要依赖于已知类别的语义信息。然而，现有方法高度依赖于已有类别的数据量，忽视了实例级数据有效性的问题。当训练样本不足时，现有生成式方法（如GANs）容易崩溃，导致性能下降。因此，如何在有限训练数据下仍能有效生成逼真的类别特征，是本研究的核心问题。
3. 技术亮点
- 扩散噪声增强实例级数据利用效率：利用前向扩散链将有限数据转换为扩增的带噪数据，从而增强泛化能力，避免生成模型过拟合。
- 双分支扩散生成结构：结合扩散特征生成器（DFG） 和 扩散表示生成器（DRG），分别学习交叉熵特征分布和对比学习表示，协同增强类别级生成能力。
- 多判别器+互学习损失：引入三种判别器，从不同角度评估生成特征，并设计基于Wasserstein距离的互学习损失，实现不同判别器的知识传递，提升生成质量。
4. 方法框架
ZeroDiff 通过以下关键步骤进行零样本学习：
- 特征提取与预训练：
a.采用ResNet-101提取视觉特征，并进行交叉熵（CE）和监督对比（SC）学习。
- 扩散表示生成（DRG）：
• 训练基于扩散的表示生成器，学习潜在语义表示并冻结模型，为后续特征生成提供支持。
- 扩散特征生成（DFG）：
通过扩散模型生成具有噪声扰动的特征，并利用判别器进行质量评估。
- 训练最终分类器：
• 结合生成特征进行ZSL/GZSL分类，评估ZeroDiff的泛化能力。
5. 实验结果速览
基准测试对比
在AWA2、CUB、SUN 三个数据集上，ZeroDiff 取得了新的SOTA性能：
• ZSL (Top-1 Accuracy):
AWA2: 86.4%（提升10.5%）
CUB: 87.5%（提升1.7%）
SUN: 77.3%（提升0.1%）
• GZSL (Harmonic Mean H):
AWA2: 79.5%（领先于次优方法 73.7%）
CUB: 81.6%（超过次优方法 81.1%）
训练数据不足情况下的对比
当仅有10%训练数据时：
• 传统GAN-based方法（如f-VAEGAN）精度大幅下降，而ZeroDiff 仍能保持较高准确率（83.3%）。
• t-SNE可视化显示，ZeroDiff 生成的未见类别特征保持稳定，而f-VAEGAN 出现崩溃现象。
6. 实用价值与应用
ZeroDiff 在以下数据有限的任务中具有广泛应用潜力：
- 计算机视觉：目标检测、图像分类任务中的零样本泛化。
- 医学影像分析：处理稀缺病症数据，提高诊断模型的泛化能力。
- 自动驾驶：在低数据场景下增强目标识别能力。
- 自然语言处理：结合文本生成，实现更高效的跨模态学习。
7. 开放问题
- ZeroDiff 在更复杂的真实世界数据（如长尾分布数据）下表现如何？
- 能否结合大规模预训练扩散模型，如Stable Diffusion，提升ZSL能力？
- 该方法是否可以推广到跨模态生成任务，如文本到图像生成？
