在机器学习模型日益应用于开放世界场景中，如何有用辨别和处理漫衍外（Out-of-Distribution, OOD）数据成为一个重要研究领域[1]。漫衍外数据的存在可能导致模型过度自信和错误预测，这在安全关键应用（如自动驾驶和医疗诊断）中尤为危险。因此，发展一种有用的OOD检测机制，对于提高模型在实际应用中的安全性和可靠性至关重要。
传统的OOD检测步骤主要集中在单一模态，特别是图象数据上，而忽视了其他潜在有用的信息源，例如文本数据。随着视觉-语言模型（VLMs）的兴起，它们在多模态学习场景中揭示了强大的本能，特别是在处理需要同时了解图象和相关文本描述的任务中表现出色[2]。现有的鉴于VLMs的OOD检测步骤[3,4,5]仅仅使用了ID标签的语义信息，忽略了VLMs模型强大的零样本本能，以及VLMs可以了解非常广阔的语义空间。鉴于此，我们认为VLMs在OOD检测中有巨大的未开发潜力，尤其是它们可以综合利用图象和文本信息来改善检测效果。
这篇文章围绕三个问题展开：
1.非ID标签的信息是否对零样本OOD检测有帮助？
2.如何挖掘出对零样本OOD检测有利的信息？
3.如何利用挖掘出的信息进行零样本OOD检测？
在这项工作中，我们提出了一种名为NegLabel的创新步骤，该步骤利用VLMs进行OOD检测。NegLabel步骤特别引入了“负标签”机制，这些负标签与已知ID类别标签具有明显的语义差异，通过分析比较图象与ID标签和负标签的亲和性，NegLabel能够有用地区分出属于漫衍外的样本，从而明显增强模型对OOD样本的辨别能力。
实行表明，NegLabel在多个零样本OOD检测基准测试中都达到了优越的本能，在大规模数据集如ImageNet-1k上能够达到94.21% AUROC和25.40% FPR95。与以往鉴于VLMs的OOD检测步骤相比，NegLabel不仅不需要额外的训练过程，而且揭示了更优越的本能。此外，NegLabel在不同的VLM架构上都表现出了优异的通用性和鲁棒性。
Ø论文链接：https://arxiv.org/pdf/2403.20078.pdf
Ø代码链接：https://github.com/tmlr-group/NegLabel
接下来将简要地向大家分享我们近期发表在 ICLR 2024 上的漫衍外检测方向的研究结果。
预备知识
步骤介绍
NegLabel的核心就是引入了“负标签”机制，这些负标签与已知ID类别标签具有明显的语义差异，通过分析比较图象与ID标签和负标签的亲和性，NegLabel能够有用地区分出属于漫衍外的样本，从而明显增强模型对OOD样本的辨别能力。
图1. NegLabel的总览图
1. 如何选取负标签？
2. 如何利用负标签来进行OOD检测？
3.如何了解负样本可以促进零样本OOD检测？
实行结果
我们的研究工作提供了多维度的实行结果以了解我们提出的步骤本能及底层机理。
如下表所示，与诸多本能优良的基准步骤和先进步骤相比，本文提出的步骤可以大规模数据集（如ImageNet）上在其基础上达到更优的漫衍外检测效果。
此外，如下表所示，本文的步骤在ID数据发生域迁移时有着更好的鲁棒性。
在下列两个表格中，我们对NegLabel的各个模块还有VLMs的结构进行了消融实行。左表可以看出，NegMining算法和Grouping策略都可以有用提升OOD检测的本能。右表揭示了我们提出的NegLabel算法在不同结构的VLMs有着良好的适应性。
我们还对不同输入图象对于ID标签和负标签的亲和度进行了可视化分析，更多详细的实行和结果请参考原文。
参考文献
[1] Hendrycks, D. and Gimpel, K. A baseline for detecting misclassified and out-of-distribution examples in neural networks. In ICLR, 2017.
[2] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal,Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, 2021.
[3] Sepideh Esmaeilpour, Bing Liu, Eric Robertson, and Lei Shu. Zero-shot out-of-distribution detection based on the pre-trained model clip. In AAAI, 2022.
[4] Yifei Ming, Ziyang Cai, Jiuxiang Gu, Yiyou Sun, Wei Li, and Yixuan Li. Delving into out-ofdistribution detection with vision-language representations. In NeurIPS, 2022a.
[5] Hualiang Wang, Yi Li, Huifeng Yao, and Xiaomeng Li. Clipn for zero-shot ood detection: Teaching clip to say no. ICCV, 2023.
[6] Christiane Fellbaum. WordNet: An Electronic Lexical Database. Bradford Books, 1998.