只用 61 个小时的数据：人们终于证明了，利用当代 AI 工具，实现「真正的说话进修」是可行的。
在公开采访中，图灵奖得主 Yann LeCun 多次提到，现在的 AI 模型和人类婴儿相比，进修效率实在是太低了。那么，如果让一个 AI 模型去进修婴儿头戴摄像头拍到的东西，它能学到什么？
最近，Science 杂志上的一篇论文进行了初步尝试。钻研发现，即使数据有限，AI 模型也能从 10 到 100 个例子中学到单词 – 视觉所指东西之间的映射，而且能够零样本地泛化到新的视觉数据集，并实现多模态对齐。这说明，利用当今的人工智能工具，从婴儿的视角进行真正的说话进修是可能的。
年龄两岁，教龄 1 年半
Sam 是怎么教 AI 进修的？
这一次，人工智能通过婴儿的视角看世界来进修说话。
神经网络通过人类婴儿的视觉经验，自行学会了识别物体，这为人类进修提供了新的见解。
AI 通过 Sam 佩戴的头盔式摄像机所拍摄的音视频进修。
当婴儿听到「球」这个词时，他们是如何将这个词的语义与圆形、有弹性的物体（即正确的视觉所指东西）联系起来的呢？哲学家和认知科学家都认为，婴儿在进修新词时，需要从众多候选意项中挑出正确的那一个。
婴儿非常擅长进修词。在 6 到 9 个月大的时候，他们开始将单词与眼前的物体建立起音形义的联系。到 18 到 24 个月大的时候，他们已经能理解约 300 个单词。
那么，孩子们是如何快速学会眼前物体的名称的呢？他们又是如何建立起物体的意义和其视觉之间的联系呢？这些问题都需要进一步的探索和钻研。
此前，已有一些相关理论在实验中得到了验证。有学者认为单词进修是由简单的、能串联起各领域的联想进修机制驱动的。但是这些理论通常是在婴儿不同的成长时间段测量的，不能揭示某种促进单词进修因素的相对重要性，也不能从中构建计算模型、为计算机模型能获得像人一样的进修本领提供指导。
如果一个模型能够通过孩子的眼睛和耳朵感知世界，那么它是否像解释人类词进修本领的联想进修理论一样，能够仅通过基于物体表征的联想进修，理解并整合物体的形体和语义呢？或者，它是否需要借助其他的认知本领，比如归纳偏置（inductive biases），来启动这种本领呢？
为了得到这些问题的答案，来自纽约大学的钻研者们对最简单的词进修理论进行了前所未有的尝试：他们给一个婴儿戴上了头戴式摄像机，并检查模型是否能够从这部摄像机的视频记录中进修到单词与其视觉所指东西之间的映射关系。
戴上摄像机的是来自澳大利亚的 Sam，从 6 个月大到大约 2 岁，他每周头戴摄像机两小时（约占清醒时间的 1%）。
钻研团队根据 Sam 的视频建立了 SAYCam-S 数据集。他们从中选取了 61 个小时的录像，其中包含 60 万张视频帧与 3.75 万段经过转写的录音，记录了大约 25 万个单词实例以及对应的图象。这些图象是 Sam 在玩耍、阅读和进食等活动期间拍摄的。
钻研团队根据这些数据来训练神经网络，并得到了儿童视角对比进修模型 CVCL。CVCL 采用了对比进修的技术，以进修哪些图象和文本经常一起出现，哪些不会，从而获得预测某些词（如 “球” 和 “碗”）所指代图象的本领。
钻研发现，CVCL 可以从一个孩子有限的经验片段中充分进修多模态表示。CVCL 能够将一系列日常词与分类任务中相应的视觉所指东西匹配起来，大规模对齐视觉和说话观点，并将此本领泛化到训练中未见过的新例子中。该钻研表明，多模态表征进修与领域通用的联想进修机制相结合，能够为计算机进修单词带来突破。
具体来说，钻研者根据多模态模型钻研的最新进展设计了 CVCL。CVCL 整合了表示进修和联想进修，用一个对比目标来协调视觉编码器和说话编码器两个神经网络。
如图 1 所示，对比目标以自我监督的方式进行训练（即只使用儿童视角的记录，不使用外部标注），模型将目标在视频帧和说话片段共同出现的情况转化为向量提取出来，将其视为正面例子，同时将不共同出现的转化成向量分离出来，视为隐含的负面例子。
提取到正面例子后，CVCL 将这些时间向量转换为进修和调整多模态表征的进修信号。这种方法既不需要对词义进行限制，也不需要预先列出可能的视觉所指东西，能从婴儿记录的视频中恢复许多基本的单词与其视觉所指东西的组合。
评估 CVCL 获得的词
对应视觉所指东西的结果
训练完成后，钻研团队评估了 CVCL 以及各种类似的模型进修到的单词 – 视觉所指东西组合的质量。根据一种针对儿童的常见尝试，钻研团队向模型提示了一个目标类别标签，让模型根据四个候选图象与标签的余弦相似度中选择相应的视觉所指东西。
图 2A 显示了标签 S 的尝试结果，总体而言，CVCL 的分类准确率为 61.6%。图 2D 显示了模型在不同标签中的具体结果，在 22 个观点中，CVCL 对 11 个观点的判断与 CLIP 相差不到 5%。但 CLIP 训练所用的数据量（互联网的 4 亿个图象文本对）远超于 CVCL。为了解决分类重叠等潜在问题，钻研团队还手动筛选出了子集进行了后续评估。
为了确定 CVCL 捕捉单词含义本领的上限和下限，钻研团队还将其与类似模型进行了实验。为了尝试模型将说话和视觉信息对应起来的本领，钻研团队将原数据集中共同出现目标物体的视频帧和录音打乱，重新训练了一个模型的变体 CVCL-Shuffled。被打乱后的模型表现不佳，这显示了视觉和说话信息共现对模型进修的关键作用。
为了尝试视觉嵌入的有效性，钻研者在训练过程中随机冻结了 CVCL 的视觉编码器。尽管模型掌握了如 「沙子 」和 「汽车 」等少数观点，但如图 2D 处所示，模型的成绩再次大幅下降（M = 38.0%）。
钻研者比较了 CVCL 与基于其他数据或 Oracle 训练数据的 AI 模型，其他模型的训练数据超出了儿童词的范围。CLIP 的准确率达 66.7%，比 CVCL 高出 5.1%，这得益于 CLIP 更理解少数单词的含义如「厨房」、「玩具」和「篮子」。
通过以上尝试，可见当在一定范围内尝试时，CVCL 的性能可以与基于互联网规模数据训练的模型相当。
此外，钻研者尝试了模型是否能独立对单词进行分类，而不是根据某些引导儿童的句子得出了判断。他们在初始化的预训练编码器上对线性分类器进行拟合得到了一个 Linear Probe 模型，新模型准确率达 81.6% ，说明 CVCL 具有独立判断本领。
钻研团队量化了在对话中自然出现的单词相对直接标记示例对模型训练的价值。如图 2B 所示，他们使用更少的人工标注数据（使用打过标签数据的 10% 和 1%）训练了两个 Linear Probe 模型，尝试结果如下表所示。
减少了人工标注数据的 Linear Probe 模型，分类准确度分别下降到了 77.2% 和 65.9%。使用了 1% 的标注示例的模型性能略好于 CVCL。通过比较，可以保守估计一个人工标注的至少相当于来自自然说话的七个示例。不过，来自自然说话的数据能更加灵活、更准确地表示儿童进修的内容，并且它可以容纳无限数量的视觉观点。
为了钻研是否有其他因素影响了单词 – 视觉所指东西组合的可进修性，钻研团队还训练了 CVCL 模型的其他变体以作评估。他们改变了模型结构或训练过程的各个方面，但没有一个变体的表现优于 CVCL 本身。
综上所述，钻研结果表明，人类最初习得的的单词-视觉所指东西组合可以从 10 到 100 个自然出现的单词-视觉所指东西组合中获得。
泛化至全新的视觉实例
为了尝试 CVCL 的泛化本领，钻研团队在 Konkle Objects 数据集上进行了实验。
从钻研婴儿说话进修的实验中获得了灵感，钻研团队为 CVCL 提供了 64 个额外的在白色背景上的单个物体图象，其对应的单词都在 CVCL 的词表中。这个实验使得钻研团队能够检查 CVCL 进修的单词是否能成功泛化到未见过的物体中。
如图 3A 所示，CVCL 具有一定的泛化本领，在 64 个物体中有 16 个得分高于 50%（正确），另外 42 个观点得分高于 25%（偶然），整体准确率为 34.7%。
此外，两个 CVCL 的模型变体都接近偶然准确率（CVCL-Shuffled 和 CVCL-Random Features 模型的准确率分别为 25.6% 和 23.4%），而其最佳表现都接近目前 SOTA 方法（CLIP 和 Linear Probe 模型的准确率分别为 99.4% 和 90.7%）。
这些结果表明了 CVCL 的多模态表征如何允许分布之外的泛化 —— 与该本领其他更大规模的演示一致。为了说明这次评估所需的视觉泛化的程度，图 3B 展示了嵌入在话语中的单词的一些自然训练实例（从孩子的视角），与用于评估的新颖尝试图象相匹配（以及它们的分类准确度）。此外，这次评估与经典婴儿词进修实验中呈现的刺激类型非常相似，这表明在实验室外获得的表现足以解释婴儿如何将实验室内的视觉刺激泛化到新的视觉刺激。
多模态表征的组织结构
最后，钻研者介绍了 CVCL 中进修到的多模态表征结构的三个分析家族。
首先探索的问题是，CVCL 的视觉和说话观点系统在多大程度上是一致的。例如，如果「汽车」的视觉和词嵌入都独立地更类似于「道路」而不是「球」，将表明良好的多模态对齐。
使用 Labeled-S 中的 22 个观点，钻研者通过随机抽取 100 个注释帧，提取其图象嵌入并跨帧平均计算每个观点的视觉原型。他们还检索了每个观点相应的词嵌入。接下来，计算这些嵌入之间的所有余弦相似度（包括模态内和模态间）并使用 t – 分布随机邻居嵌入（t-SNE）可视化它们之间的关系，如图 4A 和 B 所示。在图 4A 中，虚线表示每个观点相应的视觉质心和词嵌入之间的距离。
由于这些跨模态距离中的许多都很小，钻研者检查了观点之间的模态内相似性（通过余弦）是否与视觉和说话相关，发现了观点对齐的显著程度（相关系数 r = 0.37，p < 0.001）。
这些关系不适用于 CVCL 的两个下界中的任何一个（图 S4）。此外，对齐距离也与分类性能呈强烈负相关（r = -0.65，p = 0.001），一些最不准确的类别表现出各自视觉原型和词嵌入之间的最大距离。图 4B 展示了每个观点的带标签图象嵌入的子集，强调不同的视觉观点在示例的紧密聚类程度方面存在差异。通过将视觉变化视为观点视觉嵌入与其视觉原型之间的平均欧几里得距离，钻研者还发现与分类性能的强烈负相关（r = -0.48，p = 0.025），这表明 CVCL 在处理「手」和「玩具」等单词参照映射时的难度与它们的视觉变化有关，与紧密聚类的观点如「汽车」和「婴儿床」相比。
接下来，钻研者可视化了在 CVCL 中不同的词嵌入如何与图象嵌入相互作用（图 4C）。检查三个不同的观点，他们观察到模型预测与特定词嵌入最相似的图象（以绿色显示）与每个类别的真实标注图象集（以蓝色显示）非常接近，完整观点集显示在图 S6 中。钻研者发现 CVCL 进修将不同视觉相似的项目集合表示为一个观点的不同子簇，尽管每个词只使用一个向量。例如，「楼梯」的词嵌入最强烈地激活两个独立的集群，分别代表室内和室外楼梯，而「拼图」产生另外两个集群，代表字母和动物拼图。以前的观点进修心理理论通常需要明确、内置的机制来捕捉观点内部的子结构，但在 CVCL 中，我们发现多簇表示通过对比进修隐式地出现。
钻研者还定性检查了 CVCL 定位指代的本领。对于给定的图象，通过应用 Grad-CAM 获得一个注意力图，通过计算最终卷积层特征图的加权和（使用基于图象文本余弦相似度梯度相对于特征图的空域平均值的权重），突出显示与目标类别最相关的图象区域。钻研者可以将此注意力图叠加在图象上，并检查指代的位置与注意力图之间的任何对应关系。
图 5 展示了四个观点中多个注意力图的示例。对于某些类别，CVCL 的注意力图提供了物体定位的证据：注意力图中最高激活的区域紧密跟踪指代的定位。
更多钻研细节，可参考原论文。