作者表示，这种全新注意力体制（Sytem 2 Attention）或许你也需要呢。
大型语言模型（LLM）很强已经是一个不争的现实，但它们有时仍然容易犯一些简单的错误，表现出较弱的推理能力。
举个例子，LLM 可能会因不相干的上下文或者输出提醒中固有的偏好或意见做出错误的判断。后一种情况表现出的课题被叫做「曲意逢迎」，即模型与输出保持一致。
有没有要领来缓解这类课题呢？有些学者试图通过添加更多监督训练数据或通过强化学习策略来解决，但这些无法从根本上解决课题。
近日 Meta 研究者在论文《System 2 Attention (is something you might need too)》中认为，根本课题在于 Transformer 本身固有的构建方法，尤其是其注意力体制。也就是说，软注意力既倾向于将概率分配给大部分上下文（包括不相干的部分），也倾向于过度关注重复的 token。
因此，研究者提出了一种完全不同的注意力体制要领，即通过将 LLM 用作一个自然语言推理器来执行注意力。具体来讲，他们利用 LLM 遵循指令的能力，提醒它们生成应该注意的上下文，从而使它们只包孕不会扭曲自身推理的相干资料。研究者将这一过程称为 System 2 Attention（S2A），他们将底层 transformer 及其注意力体制视为类似于人类 System 1 推理的自动操作。
当人们需要特意关注一项任务并且 System 1 可能出错时，System 2 就会分配费力的脑力活动，并接管人类的工作。因此，这一子系统与研究者提出的 S2A 具有类似目标，后者希望通过额外的推理引擎工作来减轻上述 transformer 软注意力的失败。
论文地址：https://arxiv.org/pdf/2311.11829.pdf
研究者详细描述了 S2A 体制的类别、提出该体制的动机以及几个具体实现。在实验阶段，他们证实与基于标准注意力的 LLM 相比，S2A 可以产生更讲现实、更少回心转意或曲意逢迎的 LLM。
特别是在课题中包孕干扰性观点的修正后 TriviQA 数据集上，与 LLaMA-2-70B-chat 相比，S2A 将现实性从 62.8% 提高到 80.3%；在包孕干扰性输出情绪的长格式参数生成任务重，S2A 的客观性提高了 57.4%，并且基本上不受插入观点的影响。此外对于 GSM-IC 中带有与主题不相干语句的数学应用题，S2A 将准确率从 51.7% 提高到了 61.3%。
这项研究得到了 Yann LeCun 的推荐。
System 2 Attention
下图 1 展示了一个伪相干示例。当上下文包孕不相干的句子时，即使是最强大的 LLM 也会改变关于简单现实课题的答案，从而因为上下文中出现的 token 无意间增加了错误答案的 token 概率。
因此我们需要探究一种依赖更深入理解的更深思熟虑的注意力体制。为了与更底层的注意力体制区分开来，研究者将提出的系统称为 S2A。他们探索了利用 LLM 本身来构建这样一种注意力体制的要领，尤其是利用指令调整 LLM 通过移除不相干的文本来重写上下文。
通过这种方法，LLM 可以在输出赞同之前对要关注的输出部分做出深思熟虑的推理决定。使用指令调整的 LLM 还有另一个好处，即可以控制注意力焦点，这有点类似于人类控制自己注意力的方法。
S2A 包孕两个过程：
给定上下文 x，S2A 首先从头生成上下文 x '，从而删除会对输出产生不利影响的上下文的不相干部分。本文将其表示为 x ′ ∼ S2A (x)。
给定 x ′ ，然后使用从头生成的上下文而不是原始上下文生成 LLM 的最终赞同：y ∼ LLM (x ′ )。
替代实现和变体
本文考虑了 S2A 要领的几种变体。
无上下文和课题分离。在图 2 的实现中，本文选择从头生成分解为两部分（上下文和课题）的上下文。图 12 给出了该提醒变体。
保留原始上下文在 S2A 中，在从头生成上下文之后，应该包孕所有应该注意的必要元素，然后模型仅在从头生成的上下文上进行赞同，原始上下文被丢弃。图 14 给出了该提醒变体。
指令式提醒。图 2 中给出的 S2A 提醒鼓励从上下文中删除回心转意的文本，并使用步骤 2（图 13）中的说明要求赞同不回心转意。
强调相干性与不相干性。以上 S2A 的实现都强调从头生成上下文以提高客观性并减少曲意逢迎。然而，本文认为还有其他需要强调的点， 例如，人们可以强调相干性与不相干性。图 15 中的提醒变体给出了这种要领的一个实例：
实验
本文在三种设置下进行了实验：现实问答、长论点生成以及对数学应用题的解决。此外，本文还使用 LLaMA-2-70B-chat 作为基础模型，在两种设置下进行评价：
基线：数据集中提供的输出提醒被馈送到模型，并以零样本方法回答。模型生成可能会受到输出中提供的虚假相干性的影响。
Oracle Prompt：没有附加意见或不相干句子的提醒被输出到模型中，并以零样本的方法回答。
图 5 (左) 展示了在现实问答上的评价结果。System 2 Attention 比原来的输出提醒有了很大的改进，准确率达到 80.3%—— 接近 Oracle Prompt 性能。
图 6（左）显示了长论点生成的总体结果，基线、Oracle Prompt 以及 System 2 Attention 都被评价为可以提供类似的高质量评价。图 6（右）为细分结果：
图 7 显示了不同要领在 GSM-IC 任务上的结果。与 Shi 等人的研究结果一致，本文发现基线准确率远低于 oracle。当不相干的句子与课题属于同一主题时，这种影响甚至更大，如图 7（右）所示。
了解更多内容，请参考原论文。