现在大模型都学会借力了。
琳琅满目的乐高积木，通过一块又一块的叠加，可以创造出各种栩栩如生的人物、景观等，不同的乐高作品相互拉拢，又能为爱好者带来新的创意。
我们把思路打开一点，在大模型（LLM）爆发的当下，我们能不能像拼积木一样，把不同的模型搭建起来，而不会影响原来模型的性能，还能起到 1+1>2 的效果。
这样的想法，谷歌已经实现了。他们的研讨为未来的言语模型发展提供了一个新的方向，特别是在资本节约和模型适应性方面。
如今的大言语模型（LLM）仿佛一个全能战士，能从事常识和事实推理、懂得世界学问、生成连贯的文本…… 在这些基础性能的底座上，研讨者们又从事了一系列努力对这些模型从事微调，以实现特定于领域的性能，如代码生成、文案编辑以及办理数学问题等。
但这些特定于领域的模型开始出现一些棘手的问题，例如，有些模型在标准代码生成方面做得很好，但在一般逻辑推理方面并不精通，反之亦然。
我们不禁要问：是否可以将 anchor 模型（即具有基础性能的模型）与特定于领域的加强模型拉拢在一起，从而开启模型新性能？例如，我们能否将理解代码的加强模型与 anchor 模型的言语生成才能拉拢起来，以实现从代码 – 文本的生成才能？
在此之前，该问题典型的办理方案是在最初用于训练加强模型的数据上从事进一步的预训练或微调 anchor 模型。然而，很多时候这样的办理方案是不可行的，因为训练大模型的计算成本很高。此外，由于数据隐私等问题，处理来自多个来源的数据可能不可行。
为了办理上述训练成本和数据带来的挑战，谷歌提出并研讨了从事模型拉拢的实际配置，这些配置包括：（i）研讨者可以访问一个或多个加强模型和 anchor 模型，（ii）不允许修改任一模型的权重，并且（iii）只能访问少量数据，这些数据代表了给定模型的拉拢技能。
论文地址：https://arxiv.org/pdf/2401.02412.pdf
该研讨是这样实现的，他们提出了一种新颖的 CALM（拉拢到加强言语模型 Composition to Augment Language Models）框架来办理模型拉拢配置。CALM 不是加强和 anchor LM 的浅层拉拢，而是在加强和 anchor 模型的中间层表示上引入了少量的可训练参数。
这种方法不仅资本高效，只需增加少量额外的参数和数据，就能扩展到新使命上，比完全重新训练模型要经济得多。而且比单独利用一个模型能够更准确地执行新的挑战性使命，同时还能保留各个模型的性能。CALM 对特定使命和低资本言语也提供了更好的支持。
这种通过拉拢方式扩展模型性能的创新得到了很多人的好评：
「这项研讨以及类似的 MoE 研讨真的很令人惊讶。像堆乐高积木一样把模型拼在一起就行了！」
还有人表示：「我们离 AI 奇点又近了一步！」
方法介绍
对于给定的 anchor 模型 m_B 和加强模型 m_A，CALM 旨在将这两种模型结合起来，组成 m_（A⊕B），使得新模型的才能成为两个独立模型才能的拉拢。
研讨过程中，开发人员做了以下假设：i）他们可以访问模型的权重，向前、向后传播，并有权限访问 m_B 和 m_A 的中间表示，ii）不允许更改两个模型的权重，iii）研讨者无法访问两个基本模型的训练数据、超参数、训练状态，iv）研讨者能提供来自目标拉拢域的一些示例。
在上述假设下，该研讨的目标是进修拉拢 
以实现某些联合使命 C。其中 m_B 和 m_A 的权重被冻结，θ_C 是为进修拉拢而引入的附加可训练参数集，D_C 是指用于进修该拉拢的示例集。
可训练参数
该研讨在 m_B 和 m_A 的选定层上从事操作。具体而言，他们在这些层上进修两组附加参数：（i）一组是简单的线性变换，f_proj（.），它将来自 m_A 的第 i 层表示映照到来自 m_B 的表示的维度，以及（ii）一组交叉 – 注意力层，f_cross (.,.)，该层位于线性变换后的层表示和 m_B 的第 j 层表示之间。
如图 1 所示，图中展示了具有不同性能的 m_A（黄色块）：键值映照（左）、低资本言语（中）和代码（右）。模型 m_A 和 m_B 在合成过程中保持不变 。那些额外的参数是通过模型的层表示来进修的。最左边的图显示了在一组字符串 – 整数映照上训练的 m_A，例如 {x_1 : 10……，x_n：2}。m_B 是一个具有算术才能的大型 LM。CALM 拉拢这两个冻结模型来办理任一模型无法自行办理的键算术（arithmetic on keys）使命。值得注意的是，尽管利用仅涵盖 20% 键的算术示例从事训练，但 CALM 仍可扩展到整个键 – 值集。
训练示例的构建
由于目标模型 m_（A⊕B）涉及两个模型 m_A 和 m_B 的拉拢，因此该研讨还构建了一组训练示例 D_C 来描述模型的拉拢技能。
理想情况下，如果拉拢使命中包含使命 t_1 和 t_2，例如拉拢使命 (C) 是对一组键执行算术运算。加强模型 m_A 用来进修给定的键值对（标记为使命 t_1）， anchor 模型 m_B 是可以很好地执行数字运算的通用模型（标记为使命 t_2）。
为了进修拉拢参数 θ_C，该研讨定义 D_C 包含两个模型的拉拢技能。与 LoRA 等在训练期间需要整个学问源（此处为键值）的微调方法相比，本文发现仅对一小部分键从事训练拉拢就可以泛化到全部。
实验结果
键值算术
论文作家首先研讨了这样一种情况：有一个小型的加强 LM（m_A），它已被训练成能够记忆从字符串到整数的键值（KV）映照；还有一个大型的 anchor LM（m_B），它能够对整数从事算术运算。作家希望利用 CALM 将它们拉拢在一起，从而实现办理包含这些键的算术表达式的新性能。
表 1 显示了 m_A、m_B 和 m_(A⊕B) 这三个模型在一些数据集中的施展阐发。首先，可以看到加强模型 m_A 在 KV 替换（KV-Substitution）使命中取得了 98.1% 的成绩，这标明它能很好地记忆 D_KV。接下来，可以看到它在数字算术（Numeric-Arithmetic）使命中的施展阐发很差（4.2%），这标明它不具备算术才能。因此，该模型无法求解包含 D_KV 的键的算术表达式。
不出所料，anchor 模型 m_B 在 KV 替换和 KV 算术（KV-Arithmetic）使命中的准确率为 0%，因为它没有看到任何来自 D_KV 的数据。然而，它在数字算术使命中的施展阐发却很好（73.7%），这标明它有才能对数字从事算术运算。
最后，可以看到拉拢模型 m_(A⊕B) 能够以很高的准确率办理所有使命，尤其是 KV 算术使命（84.3%），而这是两个底层模型都无法办理的。这标明拉拢模型能够利用加强模型和 anchor 模型的相关才能来办理复杂使命。
接下来，作家研讨了能否将这样一个大型 anchor LM m_B 与经过低资本言语预训练的小型加强 LM m_A 结合在一起，以执行以这些低资本言语呈现的翻译和数学词语解题使命。
表 2 显示了模型在 FLORES-200 数据集上的施展阐发。对于表中所示的 10 种低资本言语，可以看到基础模型 m_A 和 m_B 的施展阐发都不如拉拢模型 m_(A⊕B)。作家发现，在全部 192 种言语中的 175 种言语上，拉拢模型 m (A⊕B) 的施展阐发都优于 m_B（见图 2）。
表 3 显示了这些模型在 GSM8K 使命中低资本言语和高资本言语的小学数学单词问题上的施展阐发。首先，可以观察到，由于数学推理才能有限，加强模型 m_A 在这项使命中施展阐发不佳。另一方面，鉴于 anchor 模型 m_B 数学推理才能和高资本言语的迁移进修才能，它的施展阐发要好得多。最后，作家发现在 25 种低资本言语中的 18 种和 10 种高资本言语中的 9 种上，m (A⊕B) 的施展阐发都优于 m_A 和 m_B，这证明了模型拉拢的有效性。请参见表 6 以了解完整的评估结果。请注意，表 3 的最后一行显示，在 D_NTL 上微调后的 m_B 比预训练的 m_B 性能更差，这标明存在遗忘。利用 CALM 将特定领域的模型 m_A 与 m_B 拉拢在一起可以避免这种情况。
代码理解和生成
代码理解和生成需要两类不同的才能：（a）代码语法和语义学问；（b）代码所操纵的世界的学问。虽然 LLM 拥有丰富的世界学问，但由于其预训练语料库中的代码数据表示有偏差，它们往往缺乏代码语法方面的具体学问。相反，专门用代码数据训练的小模型可以很好地理解代码语法，但它们可能缺乏广泛的世界学问和推理才能。CALM 可以实现这两方面的最佳效果。
表 4 展示了单个模型 m_A 和 m_B、拉拢模型 m (A⊕B) 以及经过微调的 anchor 基线 
的性能比较。首先，在 HumanEval 数据集上从事的评估标明，由于 m_A 在 D_Code 上从事了额外的训练，它对代码语法的理解才能更强。而由于 m_B 的规模更大，而且从事了通用预训练，它在一般言语理解方面施展阐发出色，因此在 T2C 和 C2T 使命中施展阐发更好。
当利用 CALM 来组成这两个模型时，作家通过显著的性能改进观察到了才能的清晰迁移和拉拢：与 m_B 相比，拉拢模型在 CC 和 T2C 使命上的绝对性能分别提高了 6.1% 和 3.6%。作家观察到，由于灾难性遗忘，在 D_Code 上微调 m_B 会导致 C2T 性能显著下降。在所有言语中，CALM 保持了性能，并略微优于 m_B。作家还研讨了 C2T 使命的定性示例，并观察到了有趣的共同模式，详情见附录 B。
消融研讨
m_A 的影响
作家首先研讨了 m_A 的影响，即在组成过程中用 vanilla 和随机变体替换 m_A。表 5 显示了在 NTL 和代码使命中，当专门的 m_A 被 vanilla PaLM2-XXS 检查点或未经训练的模型版本（即随机模型）替换时，性能的变化情况。作家发现，在所有使命中，这些变体的性能都大幅下降。在 FLORES-200 XX-En 使命中，利用 vanilla 和随机模型时，言语的拉拢性能分别下降到 115 和 43。与 m_B 相比，vanilla 模型的性能略有提高，这标明非专门化模型（与 m_B 的训练机制不同）可能具有正交才能，从而加强了模型的性能。这一发现验证了 CALM 的性能提升是利用 m_A 而不是增加 Θ_C 参数的结果。
迭代解码的影响
作家还研讨了一个变体，即将 m_A 用作编码器，也就是说，在给定时间步解码的输出 token 不会添加到 m_A 的输入中。在这种情况下，只利用 m_A 的前缀表示。这种配置与过去针对图像和文本模型的工作不太一样，后者将编码器和解码器模型拉拢利用。作家观察到，在采用之前的配置时，各种使命的性能都有明显下降。
与 LoRA 的比较
最后，作家通过训练 LoRA 层来评估一种参数高效微调方法，以适应 m_B。在所有实验中，他们都配置了 LoRA rank，使添加的参数数量等于 CALM 引入的参数数量。作家还在与 CALM 相同的数据（即 D_C）上训练 LoRA。他们发现这两种方法在所有使命和指标上的性能差异都很大。
请参阅原始论文以获取更多详细信息。
参考链接：https://twitter.com/GPTDAOCN/status/1743240332136030542