当训练数据集和测试数据集的分布相同时，机器学习模型可以表现出优越的机能。然而在开放世界环境中，模型经常会遇到分布外（Out-of-Distribution, OOD，下称“OOD”）样本，OOD样本可能会导致模型做出不可预测的行为，而错误的后果可能是致命的，尤其是在自动驾驶等高风险场景中 [1, 2]。因此OOD检测对于保障机器学习模型在实际部署中的可靠性至关重要。
大多数OOD检测方式 [1, 3] 可以鉴于训练有素的分布内 (In-Distribution, ID) 分类器有效地检测 OOD 样本。然而，对于分别的ID数据集，它们需要重新训练分类器才能进行OOD检测。此外，这些方式仅依赖于视觉模式，而忽略了视觉图像与文本标签之间的联系。随着大规模视觉语言模型（Vision-Manguage Models , VLMs，例如CLIP [4]）的出现，使得零样本 OOD 检测成为了可能[5]。通过构建仅具有 ID 种别标签的文本分类器，能够实现在无需重新训练分类器的情况下跨分别的 ID 数据集检测 OOD 样本。
尽管现有的鉴于CLIP的分布外检测方式展现出了令人印象深刻的机能，但是它们在遇到较难检测的分布外样本时常常会检测失败，我们认为现有仅依赖ID 种别标签构建文本分类器的方式很大程度上限制了 CLIP 辨别来自开放标签空间样本的固有能力。如图1 (a) 所示，仅依赖ID 种别标签构建文本分类器的方式难以区分较难检测的OOD样本 （ID数据集：CUB-200-2011，OOD数据集：Places）。
图1. 钻研动机示意图：(a) 仅依赖ID 种别标签构建文本分类器, (b) 使用真实OOD标签, (c) 使用LLM想象潜伏的非常十分值暴露
在这项工作中，我们提出了一种名为Envisioning Outlier Exposure (EOE) 的分布外检测方式，该方式利用通过利用大型语言模型 (LLM) 的专家知识和推理能力来想象潜伏的非常十分值暴露，从而提升VLMs的OOD检测机能 (如图1 (c) 所示)，同时无需访问任何实际的 OOD 数据。我们设计了 (1) 鉴于视觉相似性的 LLM 提醒，以生成专门用于 OOD 检测的潜伏非常十分值类标签，以及 (2) 鉴于潜伏非常十分值惩罚的新评分函数，以有效区分难以辨别的 OOD 样本。尝试表明，EOE 在分别的 OOD 任务中实现了优越的机能，并且可以有效地扩展到 ImageNet-1K 数据集。
Ø论文链接：https://arxiv.org/pdf/2406.00806
Ø代码链接：https://github.com/tmlr-group/EOE
接下来将简要地向大家分享我们近期发表在 ICML 2024 上的分布外检测方向的钻研结果。
预备知识
方式介绍
EOE旨在通过利用 LLM 生成潜伏的非常十分值种别标签来提高零样本 OOD 检测机能。然而，由于模型部署时遇到的OOD种别是未知的，那么，我们应该如何引导 LLM 生成所需的非常十分值种别标签？在获取非常十分值种别标签后，我们如何才能更好地区分 ID 和 OOD 样本？为了解决这些问题，我们提出了鉴于视觉相似性原则设计的专门针对 OOD 检测的 LLM 提醒，并引入了一种新颖的评分函数来更好地区分ID/OOD样本。我们方式的总体框架如图 2所示。
图2. EOE总体框架图
Fine-grained OOD 检测也称为开放集辨别，在Fine-grained OOD 检测中，ID 和 OOD 样本都属于同一主要种别(例如“鸟”类），并且子类之间存在内在的视觉相似性 (例如“麻雀”和“燕子”）。因此，指示 LLM 直接提供同一主要种别内的分别子类更为合适。
以上三种OOD 检测的 LLM 提醒如图3所示
图3. 鉴于视觉相似性原则设计的三类LLM提醒
图4. EOE伪代码
我们的方式优点总结如下：
EOE 不依赖于未知 OOD 数据的先验知识，因此特别适合开放世界场景。
零样本：同一个预训练模型可有效地应用于各种特定于任务的 ID 数据集，而无需对每个特定 ID 数据集进行单独训练。EOE 仅通过了解 ID 类标签即可实现卓越的 OOD 检测机能。
可扩展性和通用性：与同样生成潜伏OOD 类标签的现有零样本 OOD 检测方式 [6]相比，EOE 可以轻松应用于 ImageNet-1K 等大规模数据集。此外，EOE 在分别任务中表现出通用性，包括Far, Near和Fine-grainedOOD 检测。
尝试结果
我们在分别OOD任务的多个数据集上进行了尝试。表1展示了在ImageNet-1K 上进行Far OOD 检测尝试结果，其中，Ground Truth表示使用真实OOD标签时的机能，在实际部署中是不可获取的。结果表明，EOE 与微调方式相当，并超越了 MCM [5]。
表1. Far OOD尝试结果
我们也报告了在Near OOD和Fine-grained OOD任务上的尝试结果，如表2和表3所示，我们的方式均实现了最佳的检测机能。
表2. Near OOD尝试结果
表3. Fine-grained OOD尝试结果
我们对EOE的各个模型进行了融化尝试，包括分别的得分函数，LLM提醒：分别的LLM和分别长度的潜伏OOD 类标签数量。尝试表明，我们设计的得分函数和鉴于视觉相似性原则设计的LLM prompt获得了最优的机能，并且我们的方式在分别的LLM和分别长度的潜伏OOD 类标签数量上都获得了优异的表现。同时，我们也对视觉语言模型的结构进行了融化尝试，详细的尝试结果请大家参考原文。
图5. 融化尝试 –分别的得分函数、LLM提醒和分别的LLM
图5. 融化尝试 –生成潜伏OOD 类标签数量
我们对EOE的有效性进行了分析，实际上，生成的非常十分类标签不太可能有很高的概率命中真实值 OOD 类。这是因为在模型的实际部署中遇到的 OOD 数据是多种多样，且不可预测的。然而，通过视觉相似性规则引导，即使没有命中真实的OOD类的情况下，EOE生成的潜伏非常十分类标签仍然可以提高模型在 OOD 检测中的表现。
为了说明以上论点，我们展示了通过 T-SNE从标签匹配分数的 softmax 输出中得出的可视化效果。我们的 EOE 与对比方式 MCM 之间的可视化结果如图6所示。鉴于 ImageNet-10 的 ID 类标签，LLM 生成鉴于视觉相似性规则的潜伏非常十分标签“潜艇”。当遇到 OOD 类 “蒸汽机车”（ImageNet-20 中的类）时，“蒸汽机车” 在 和 中与“潜艇”的相似度最高。因此，EOE 会将其聚类为 “潜艇”，从而将其检测为 OOD 类。然而，如果没有潜伏的非常十分类标签，我们可以发现 MCM 倾向于将所有 OOD 类标签聚类在一起。这可能导致将难以辨别的 OOD 样本辨别为 ID 类。总之，在我们的 EOE 框架中，1) 属于同一类的 OOD 样本倾向于被聚集在一起，2) 同一组的样本被归类到与它们在视觉上相似的设想的非常十分值类中（“蒸汽机车” vs“潜艇”）。这些观察结果表明，我们的 EOE 可以在不触及实际 OOD 种别的情况下增强 OOD 检测，并且在语义上也更易于解释。我们希望这项工作能为 OOD 检测领域的未来钻研提供一个新的思路。
图6. 可视化结果
参考文献
[1] Hendrycks, D. and Gimpel, K. A baseline for detecting misclassified and out-of-distribution examples in neural networks. In ICLR, 2017.
[2] Yang, J., Zhou, K., Li, Y., and Liu, Z. Generalized out-of-distribution detection: A survey. arXiv preprint arXiv:2110.11334, 2021.
[3] Liu, W., Wang, X., Owens, J., and Li, Y. Energy-based out-of-distribution detection. In NeurIPS, 2020.
[4] Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., et al. Learning transferable visual models from natural language supervision. In ICML, 2021.
[5] Ming, Y., Cai, Z., Gu, J., Sun, Y., Li, W., and Li, Y. Delving into out-of-distribution detection with vision-language representations. In NeurIPS, 2022.
[6] Esmaeilpour, S., Liu, B., Robertson, E., and Shu, L. Zeroshot out-of-distribution detection based on the pre-trained model clip. In AAAI, 2022.
课题组介绍
香港浸会大学可信机器学习和推理课题组 (TMLR Group) 由多名青年教授、博士后钻研员、博士生、访问博士生和钻研助理共同组成，课题组隶属于理学院计算机系。课题组专攻可信表征学习、鉴于因果推理的可信学习、可信基础模型等相关的算法，理论和系统设计以及在自然科学上的应用，具体钻研方向和相关成果详见本组Github (https://github.com/tmlr-group)。课题组由政府科研基金以及工业界科研基金资助，如香港钻研资助局杰出青年学者计划，国家自然科学基金面上项目和青年项目，以及微软、英伟达、百度、阿里、腾讯等企业的科研基金。青年教授和资深钻研员手把手带，GPU计算资源充足，长期招收多名博士后钻研员、博士生、钻研助理和钻研实习生。此外，本组也欢迎自费的访问博士后钻研员、博士生和钻研助理申请，访问至少3-6个月，支持远程访问。有兴趣的同学请发送个人简历和初步钻研计划到邮箱 ([email protected])。