AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]
本文作者李云帆，四川大学计算机学院 2020级直博研究生。在导师彭玺教授的指导下，博士期间主要围绕深度聚类开展理论、步骤和应用的研究。目前已在国际权威刊物Nature Communications/JMLR/TPAMI/IJCV/ICML/CVPR等上发表学术论文13篇，谷歌学术引用共954次；发表于AAAI2021的Contrastive Clustering被引516次，是2021年以来聚类领域引用最高的论文；获首批国家自然科学基金青年学生基础研究项目（博士研究生）资助。
怎样才能将可爱又迷人的柯基与柴犬的图象进行区分？
如果单从图象识别角度而言，两种犬类在外观上极为相似，拥有相近的色块像素，仅凭数据内蕴信息（即图象自身）可能难以对二者进行区分，但如果借助内部数据和常识，情况可能会大幅改观。
近日，一篇以《Image Clustering with External Guidance》为题的论文，提出了能够大幅提升CLIP图象聚类机能，引入内部常识库内容辅助深度聚类的步骤。
论文题目：Image Clustering with External Guidance
论文地址：https://arxiv.org/abs/2310.11989
代码地址：https://github.com/XLearning-SCU/2024-ICML-TAC
背景
作为机器学习的经典任务之一，图象聚类旨在无需依赖样本标注的情况下，将图象依据语义划分到不同的类簇中，其核心在于使用先验常识建立监视旗号。从经典基于类簇紧致性的k-means到近年来基于增广不变性的对比聚类[1]，聚类步骤的发展本质上对应于监视旗号的演进。
图1: 聚类步骤的发展大致可分为三个阶段: (1)传统聚类，基于数据分布假设设计聚类策略; (2)深度聚类，使用深度神经搜集提取有利于聚类的特征; (3)自监视聚类，通过数据增广或动量搜集等策略建立自监视旗号。不同于此前的工作聚焦于从数据内部挖掘监视旗号，本文提出使用内部常识来带领聚类，并将新范式归类为 (4)内部带领聚类。实验结果表明，通过使用文本模态中的语义信息，所提出的步骤(TAC)显著提升了图象聚类精度。
现有的聚类研究虽然在步骤设计上各不相同，但均是从数据内部挖掘监视旗号，其机能最终会受限于数据自身所蕴含信息量的固有上限。举例来说，柯基和巴哥犬的图片有明显的差异，但其和柴犬在外观上十分相似，仅依据图象本身难以对二者进行区分。
但值得注意的是，在数据内蕴信息之外，现实世界中还存在着大量有助于聚类的内部常识，而在现有工作中被很大程度地忽略了。
在上述例子中，假设模型具备来自常识库的「柯基腿较短，而柴犬腿较长」等非图象域的内部先验，则能更准确地对二者的图象进行区分。
换而言之，与从数据中竭力地挖掘内部监视旗号相比，使用更加丰富且容易获得的内部常识来带领聚类，有望起到事半功倍的效果。
步骤
本文提出了一种简单而有效的内部带领聚类步骤TAC（Text-Aided Clustering，文本辅助的聚类），基于预训练CLIP模型，通过使用来自文本模态的内部常识辅助图象聚类。
在缺乏类别标注和图象描述等文本信息的情况下，使用文本语义辅助图象聚类面临两个挑战：
如何建立图象的文本表征；
如何协同图象和文本进行聚类。
图2：所提出的TAC步骤框架，包括文本表征建立和跨模态互蒸馏两部分。
一、文本表征建立
针对第一个挑战，由于样本标注、图象描述等文本信息在图象聚类任务中不可用，本文提出将来自WordNet[2]的所有名词作为文本模态的候选词，选择其中具有代表性的名词聚集来组成文本空间。
具体地，为了使文本表征精确地覆盖图象语义，同时尽可能在不同类别图象之间具有区分度，本文首先使用k-means算法来计算图象语义中心。
考虑到过多的语义中心会关注过于细粒度的特征，不利于区分不同类别的图象，而过少的语义中心则会难以准确覆盖位于聚类边界图象的语义，本文提出根据样本点的个数估计k-means算法中合适的k值（实验中选取k=N/300，N为图象个数），并计算图象语义中心如下：
其中
当且仅当图象
属于第l个聚类，
表示第i张图象经过CLIP图象编码器后得到的表征。在得到图象语义中心后，为了选取具有代表性的名词聚集，与常见的CLIP Zero-shot分类相反，本文将所有WordNet中的名词划分到k个图象语义中心，其中第i个名词属于第l和语义中心的概率为：
其中sim表示余弦相似性，
表示第i个名词经过预训练好的文本编码器后得到的表征。保留每个语义中心对应概率最高的名词，作为组成文本空间的候选词。
选取完具有代表性的名词聚集后，可通过为每张图象检索其最相关的名词来建立其文本模态的表征：
其中，
表示第i张图象对应的文本模态中的表征，
表示组成文本空间的第j个候选名词，
控制检索的平滑程度。
至此，作者为每张图象建立出了其在文本模态中的表征。此时可通过在文本和图象的拼接表征
直接使用经典k-means聚类步骤来实现图象聚类。
由于融入了来自文本模态的紧凑语义，拼接后的表征具有更好的判别性，从而相较于直接在图象表征上使用k-means会得到更好的图象聚类结果。
值得注意的是，上述文本模态的建立过程不需要任何的额外训练和模型调优，其中名词选取和检索过程的计算开销几乎可以忽略不计。
二、跨模态互蒸馏
尽管直接将文本和图象表征进行拼接已能显著提升图象聚类效果，但是简单的拼接并不能充分协同文本和图象两个模态。因此，本文进一步提出跨模态互蒸馏步骤，通过训练额外的聚类搜集进一步提升聚类机能。
具体地，为每张图象建立邻人聚集
，并引入一个聚类搜集f对每个图象表征做出聚类指使，在每次迭代中，计算所有图象和其邻人聚集中随机的一个图象的聚类指使，记为：
其中
和
分别对应图象i及其邻人的聚类指使，P和
均为n*K的矩阵，其中K表示目标聚类个数。
相类似的，引入另一个聚类搜集g来对每个文本表征做出聚类指使，同样为每个文本表征建立邻人聚集
，在每次迭代中，计算所有文本和其邻人聚集中随机的一个文本的聚类指使，记为：
其中
和
分别对应文本i及其邻人的聚类指使，Q和Q^N同样均为n*K的矩阵。
为了协同图象和文本两个模态，要求搜集对于图象和其对应文本模态的邻人具有类似的聚类指使，同时对于文本和其对应图象模态的邻人也具有类似的聚类指使。为实现该目标，本文设计了如下的损坏函数：
其中
分别表示聚类指使矩阵P,P^N,Q,Q^N的第i列，
为温度系数。该损坏函数一方面能通过跨模态邻人之间的聚类指使一致性实现图文模态的协同，另一方面能扩大不同的类簇之间的差异性。
此外，为了使训练过程更加稳定，本文设计了另外两个正则项损坏函数。首先，为了鼓励模型做出更加置信的聚类指使，提出如下损坏函数：
该损坏函数在
和
均为独热（One-hot）编码时被最小化，因此能提升聚类指使的置信度。另外，为了防止模型将大量图象和文本都分配到个别类簇中，提出了以下损坏函数：
其中
和
分别表示图象和文本模态中整体的聚类分布。
综合上述三个损坏函数，本文使用如下损坏函数来优化图象和文本模态的聚类搜集f和g：
其中
为权重参数。需要指出的是，上述损坏函数只用来优化额外引入的聚类搜集，并不修改CLIP预训练好的文本和图象编码器，因此其整体训练开销较小，实验表明所提出的步骤在CIFAR-10的6万张图象上训练仅需使用1分钟。
训练完成后，只需将待聚类的图象输入聚类搜集f，即可得到其聚类指使，从而实现准确的图象聚类。
实验
本文在五个经典数据集和三个更具挑战性的图象聚类数据集上对步骤进行了验证，部分实验结果如下：
表1：所提出的TAC步骤在经典图象聚类数据集上的聚类机能
表2：所提出的TAC步骤在更具挑战性的图象聚类数据集上的聚类机能
从结果中可以看出，在缺少标注信息的情况下所提出的TAC步骤通过为每个图象建立文本表征，能够有效地从文本模态中挖掘语义信息。在无需任何额外训练的情况下，TAC (no train)显著提高了直接在CLIP提取的图象表征上使用k-means聚类的机能，特别是在更困难的数据集上。
当进一步使用提出的跨模态相互蒸馏策略训练聚类搜集时，TAC取得了最优的聚类机能，甚至超过了依赖类别标签信息的CLIP Zero-shot分类机能。
总结与展望
不同于现有的聚类研究聚焦于从数据内部建立监视旗号，本文创新性地提出使用此前被忽略的内部常识来带领聚类。
所提出的TAC步骤通过在无需文本描述的情况下，从预训练CLIP模型的文本模态挖掘语义信息，显著提升了图象聚类机能，证明了所提出的内部带领聚类新范式的有效性。
所提出的内部带领聚类范式的挑战在于：
如何选择合适的内部常识；
如何有效的整合内部常识以辅助聚类。
除了本工作关注的文本语义外，内部常识广泛存在于各类的数据、模型、常识库等，对于不同的数据类型和聚类目标，需要针对性地选择与使用内部常识。
总的来说，在目前大模型、常识库日趋成熟背景下，内部带领的聚类新范式具备良好的发展潜力，希望未来有更多工作进行相关的探索。
参考文献：
[1] Li Y, Hu P, Liu Z, et al. Contrastive clustering[C]//Proceedings of the AAAI conference on artificial intelligence. 2021, 35(10): 8547-8555.
[2] Miller G A. WordNet: a lexical database for English[J]. Communications of the ACM, 1995, 38(11): 39-41.