变笨的本质是知识没进脑子。
自公布以来，曾被认为是世界上最强大的 GPT-4 也经历了多场「信任危机」。
如果说今年早些时候那次「间歇式降智」与 OpenAI 重新设计 GPT-4 架构有关，前段光阴的「变懒」传闻就更搞笑了，有人测出只要告诉 GPT-4「现在是寒假」，它就会变得懒懒散散，仿佛进入了一种冬眠状态。
大模型变懒、变笨，具体是指模型在新工作上的零样本功能变差。尽管上述原因听起来很有趣，但问题到底怎么解决呢？
在最近的一篇论文中，加州大学圣克鲁斯分校研究者的新发觉或可解释 GPT-4 功能下降的深层原因：
「我们发觉，在训练数据创办日期以前公布的数据集上，LLM 的表现出奇地好于之后公布的数据集。」
它们在「见过的」工作上表现出色，而在新工作上则表现糟糕。这意味着，LLM 只是基于近似检索的模仿智能步骤，主要是记忆东西，而没有任何程度的理解。
说白了，就是 LLM 的泛化才能「没有说的那么强」—— 基础不扎实，实战总有出纰漏的时候。
造成这种结果的一大原因是「工作净化」，这是数据净化的其中一种形式。我们以前熟知的数据净化是测试数据净化，即在预训练数据中包含测试数据示例和标签。而「工作净化」是在预训练数据中加入工作训练示例，使零样本或少样本步骤中的评估不再真实有效。
研究者在论文中首次对数据净化问题举行了系统分解：
论文链接：https://arxiv.org/pdf/2312.16337.pdf
看完论文，有人「悲观」地表示：
这是整个不具备持续进修才能的机器进修（ML）模型的命运，即 ML 模型权重在训练后会被冻结，但输入分布会不断变更，如果模型不能持续适应这种变更，就会慢慢退化。
这意味着，随着编程语言的不断更新，基于 LLM 的编码工具也会退化。这就是为什么你不必过分依赖这种脆弱工具的原因之一。
不断重新训练这些模型的成本很高，迟早有人会放弃这些低效的步骤。
目前还没有任何 ML 模型能够可靠地持续适应不断变更的输入分布，而不会对以前的编码工作造成严重干扰或功能损失。
而这正是生物神经网络所擅长的领域之一。由于生物神经网具有强大的泛化才能，进修不同的工作可以进一步提高系统的功能，因为从一项工作中获得的知识有助于改善整个进修过程本身，这就是所谓的「元进修」。
「工作净化」的问题有多严重？我们一起来看下论文内容。
模型和数据集
实验所应用的模型有 12 个（如表 1 所示），其中 5 个是专有的 GPT-3 系列模型，7 个是可免费获取权重的开放模型。
数据集分为两类：2021 年 1 月 1 日以前或之后公布的数据集，研究者应用这种划分步骤来分解旧数据集与新数据集之间的零样本或少样本功能差异，并对整个 LLM 采用相同的划分步骤。表 1 列出了每个模型训练数据的创办光阴，表 2 列出了每个数据集的公布日期。
上述做法的考虑是，零样本和少样本评估涉及模型对其在训练期间从未见过或仅见过几次的工作举行预测，其关键前提是模型事先没有接触过要完成的特定工作，从而确保对其进修才能举行公平的评估。然而，受净化的模型会给人一种未接触或仅接触过几次的才能的假象，因为它们在预训练期间已经接受过工作示例的训练。在按光阴顺序排列的数据集中，检测这种不一致性会相对容易一些，因为任何重叠或异常都会很明显。
测量步骤
研究者采用了四种步骤来测量「工作净化」：
训练数据查验：在训练数据中搜索工作训练示例。
工作示例提炼：从现有模型中提炼工作示例。只有经过指令调优的模型才能举行提炼，这种分解也可用于训练数据或测试数据的提炼。注意，为了检测工作净化，提炼的工作示例不必与现有的训练数据示例完全婚配。任何演示工作的示例都表明零样本进修和少样本进修可能存在净化。
成员推理：此步骤仅适用于生成工作。查验输入实例的模型生成内容是否与原始数据集完全相同。如果完全婚配，就可以推断它是 LLM 训练数据中的一员。这与工作示例提炼不同，因为生成的输出会被查验是否完全婚配。开放式生成工作的精确婚配强烈表明模型在训练过程中见过这些示例，除非模型「通灵」，知道数据中应用的确切措辞。（注意，这只能用于生成工作。）
时序分解：对于在已知光阴范围内收集训练数据的模型集，在已知公布日期的数据集上测量其功能，并应用时序凭证查验净化凭证。
前三种步骤精度高，但召回率低。如果能在工作的训练数据中找到数据，那么就能确定模型曾见过示例。但由于数据格式的变更、用于定义工作的关键字的变更以及数据集的大小，应用前三种步骤找不到净化凭证并不能证明没有净化。
第四种步骤，按光阴顺序分解的召回率高，但精确度低。如果由于工作净化而导致功能较高，那么按光阴顺序分解就有很大机会发觉它。但随着光阴的推移，其他因素也可能导致功能提高，因此精确度较低。
因此，研究者采用了整个四种步骤来检测工作净化，发觉了在某些模型和数据集组合中存在工作净化的有力凭证。
他们首先对整个测试过的模型和数据集举行时序分解，因为它最有可能发觉可能的净化；然后应用训练数据查验和工作示例提炼寻找工作净化的进一步凭证；接下来观察了 LLM 在无净化工作中的功能，最后应用成员推理攻击举行额外分解。
重点结论如下：
1、研究者对每个模型在其训练数据在互联网上抓取以前创办的数据集和之后创办的数据集举行了分解。结果发觉，对于在收集 LLM 训练数据以前创办的数据集，其功能高于大多数基线的几率明显更高（图 1）。
2、研究者举行了训练数据查验和工作示例提炼，以查找可能存在的工作净化。结果发觉，对于不可能存在工作净化的分类工作，在一系列工作中，模型很少比简单多数基线有统计意义上的显著提高，无论是零样本还是少样本（图 2）。
研究者也查验了 GPT-3 系列和开放 LLM 的平均表现随光阴的变更，如图 3：
3、作为案例研究，研究者还尝试对分解中的整个模型举行语义解析工作的成员推理攻击，发觉在最终工作中，提炼实例的数量与模型的准确性之间存在很强的相关性（R=.88）（图 6）。这有力地证明了在这一工作中零样本功能的提高是由于工作净化造成的。
4、研究者还还仔细研究了 GPT-3 系列模型，发觉可以从 GPT-3 模型中提炼训练示例，而且从 davinci 到 GPT-3.5-turbo 的每个版本中，可提炼的训练示例数量都在增加，这与 GPT-3 模型在该工作上零样本功能的提高密切相关（图 2）。这有力地证明了从 davinci 到 GPT-3.5-turbo 的 GPT-3 模型在这些工作上的功能提高是由于工作净化造成的。
更多研究细节，可参考原论文。