Segment Anything Model（SAM）初次被应用到了基于增强观念的可注释 AI 上。
你是否好奇当一个黑盒深度神经网络 (DNN) 展望下图的时候，图中哪个部分对于输入展望为「击球手」的帮助最大？
香港科技大学团队最新的 NeurIPS2023 研究成果给出了他们的答案。
论文：https://arxiv.org/abs/2305.10289
项目代码：https://github.com/Jerry00917/samshap
继 Meta 的分割一切 (SAM) 后，港科大团队初次借助 SAM 实现了人类可解读的任性 DNN 模型图象观念注释器：Explain Any Concept (EAC)。
你往往会看到传统的 DNN 图象观念注释器会给出这样的注释 (SuperPixel-Based)：
但这类输入通常不能残破地将 DNN 对于输入图象里观念的理解表达给人类。
港科大团队初次将具有强大的观念抓取力的 SAM 和博弈论中夏普利正义 (Shapley Value) 结合起来，构建了端对端具有残破观念的模型注释器，并呈现了非常令人惊叹的结果！！
现在，用户只需要将任性 DNN 接入该注释器的 API，EAC 就可以精准地注释出图中哪些观念影响了模型最终的输入。
算法原理
如下图所示，注释一切 EAC 的算法流程图可大体分为三个阶段：1）SAM 观念抓取，2）利用 Per-Input Equivalence (PIE) 放荡方针 DNN 模型，3）通过较量争论出 PIE 的夏普利正义值得出类似原方针 DNN 的最终观念注释输入。
夏普利值实现
在博弈论中，夏普利正义的地位举足轻重。基于它，研究人员可以推算出图片里每一个观念对方针模型输入的贡献值，从而得知哪些观念对于模型展望的帮助最大。不过较量争论夏普利值所需要的时间复杂度为 O (2^N)，这对于几乎任何一个成熟的深度学习模型是灾难性的较量争论量。
本文为了解决这一问题提出了 Per-Input Equivalence （PIE）轻量型框架。PIE 希望通过一个 surrogate model f' 将原方针 DNN 模型 f 做局部拟合。
PIE 的残破表达式为
。这里 f_fc 完全保留了原模型的全连接层，h 是一层线性权重用于放荡 f 的特征提取器，输入 b 为一维 one-hot 对一张方针图片里的观念集 C（由 SAM 生成）的编码。算法通过对 PIE 进行蒙特卡洛估算，就可得出 f^' 对于 f 的类似夏普利值。
文章指出 PIE 的运算十分轻量。在 COCO 标准尝试集上，将方针模型设为 ResNet50，平均注释时间仅约为 8.1 秒 / 一张图片。
实行结果
通过给每张尝试图逐一增加（Insertion）/ 简略（Deletion）最重要的观念 patch，这两项实行研究者可以直接评估任性注释器在注释方针 DNN 时的表现。
EAC 同时在「增加」和「简略」两项实行中实现了比较优秀的注释效果。
以下是 EAC 效果展示和 baseline 对比：
在文章的最后，团队表示有了 EAC 这项技术，医疗影像，智慧安防等重要的可信机器学习商用应用场景会变的更准确，更可靠。