一、简要介绍
本文简要介绍了论文“System 2 Attention (is something you might need too) ”的相干工作。基于transformer的大语言模型（LLM）中的软留神很容易将上下文中的不相干信息合并到其潜在的表征中，这将对下一token的生成产生不利影响。为了帮助纠正这些成绩，论文引入了System 2 Attention（S2A），它利用LLM的能力，用自然语言进行推理，并遵循指示，以决定要处理什么。S2A从新生成输出上下文以使输出上下文只包含相干部分，然后再处理从新生成的上下文以引出最终推戴。在实验中，S2A在包含观点或不相干信息的三个使命：QA、数学单词成绩和长形生成上优于标准的基于留神力的LLM，其中S2A增加了事实性和客观性，减少了虚假性。
二、研究背景
大型语言模型（LLM）具有很强的能力，但它们仍然容易犯简单的错误，这些错误似乎显示出较弱的推理能力。例如，他们可能会被不相干的上下文做出错误判断，或输出提醒固有的偏好或观点，在后一种情况下表现出一个称为追随性的成绩，即模型与输出一致。
虽然一些办法试图通过增加更多的监督训练数据或强化学习策略来缓解这些成绩，但论文假设潜在的成绩是transformer本身的构建方式所固有的，特别是它的留神机制。也就是说，软留神倾向于将概率分配给大部分上下文，包括不相干的部分，倾向于过度关注重复的标记，部分原因是其训练方式，部分原因是位置编码机制也倾向于将上下文视为词袋。
在这项工作中，论文因此研究了一种完全不同的处理留神机制的办法：通过运用LLM作为自然语言推理器来执行留神。具体来说，论文利用LLM遵循指令的能力，并提醒它们生成它们应该留神的上下文，这样它就只包含不会扭曲其推理的相干材料。论文将此过程称为系统2留神（S2A），因为论文可以将底层的transformer及其留神机制视为类似于人类系统1推理的自动操作。系统2，分配留神力活动，在需要刻意留神一个使命的时候接管人类活动，特别是在系统1很可能犯错误的情况下。因此，这个子系统类似于论文的S2A办法的目标，因为论文的目标是通过推理引擎（LLM）的额外刻意努力来减轻上述transformer软留神的故障。
论文描述了系统2的留神机制的类，提供了进一步的动机，并在下文中详细介绍了几个具体的实现。在下文中，论文通过实验表明，与标准的基于留神力的LLM相比，S2A可以产生更真实、更少固执己见或谄媚的生成。特别是在修改后的TriviQA数据集上，包括成绩中的干扰物观点，与LLaMa-2-70b聊天相比，S2A将事实性从62.8%增加到80.3%，而对于包含干扰物输出情绪的长期生成的论证，客观性增加了57.4%，并且在很大程度上不受插入观点的影响。最后，对于GSM-IC中包含主题无关句子的数学词汇成绩，S2A将准确率从51.7%提高到61.3%。
三、System 2 Attention
3.1 Motivation
大型语言模型通过预训练的过程获得了优秀的推理能力和大量的知识。他们的下一个词的预测目标要求他们密切关注当前的上下文。例如，如果在一个上下文中提到了某个实体，那么同一实体很可能稍后会在同一上下文中再次出现。基于transformer的LLM能够学习这些统计相干性，因为软留神机制允许它们在他们的上下文中找到相似的单词和概念。虽然这可能会提高下一个单词的预测精度，但它也使LLM容易受到其上下文中的虚假相干性的不利影响。例如，众所周知，重复短语的概率随着每次重复而增加，从而产生一个正反馈循环。将这个成绩推广到所谓的非平凡重复，模型也倾向于在上下文中重复相干主题，而不仅仅是特定的标记，因为潜在表示可能预测来自相同主题空间的更多标记。当上下文包含模型复制的观点时，这被称为追随性，但一般来说，论文认为这个成绩与上面讨论的任何一种上下文有关，而不仅仅是与观点一致的成绩。
图1显示了一个伪相干的示例。即使是当上下文包含不相干的句子时，最强大的LLM也会将它们的答案改变为一个简单的事实成绩，这由于上下文中出现的标记，无意中增加了错误答案的标记概率。在这个例子中，增加的上下文似乎与这个成绩相干，因为两者都是关于一个城市和一个出生地的。但随着更深入的理解，很明显，所增加的文本是无关紧要的，因此应该被忽略。
这促使人们需要一个更慎重的留神机制，它依赖于更深入的理解。为了区别于更低的层次的留神机制，论文称之为系统2留神（S2A）。在本文中，论文探索了一种利用LLM本身来构建这种留神机制的办法。特别是，论文运用指令调优的LLM，通过删除不相干的文本来重写上下文。通过这种方式，LLM可以在输出推戴之前，对输出的哪些部分做出慎重的推理决策。运用指令调优的LLM的另一个优点是可以控制留神力焦点，这可能类似于人类控制留神力的方式。
3.2 Implementation
论文考虑一个典型的场景，即一个大语言模型（LLM）给定一个上下文，记为x，其目标是生成一个高质量的序列，记为y。这个过程用y∼LLM (x)表示。
系统2留神（S2A）是一个简单的两步过程：
给定上下文x，S2A首先从新生成上下文x'，这样上下文中将对输出产生不利影响的无关部分将被删除。论文表示这个x'∼S2A (x)。给定x'，然后论文运用从新生成的上下文而不是原始的上下文来生成来自LLM的最终推戴：y∼LLM（x′）。
S2A可以被看作是一类技术，有各种办法来实现办法1。在论文的具体实现中，论文利用了通用的指令调优LLM，它们已经熟练地进行推理和生成类似于S2A所需的使命，因此论文可以通过提醒将这个过程作为指令来实现。
具体来说，S2A (x) = LLM（PS2A(x)），其中PS2A是一个函数，向LLM生zero-shot提醒，指示它执行所需的系统2留神使命。
图2给出了论文在实验中运用的提醒PS2A。这个S2A指令要求LLM从新生成上下文，提取助于为给定查询提供相干上下文的部分。在这个实现中，它特别要求生成一个x'，将有用的上下文与查询本身分开，以便澄清模型的这些推理办法。
通常情况下，一些后处理也可以应用于办法1的输出，以构造办法2的提醒，因为LLM之后的指令除了请求的字段外，还会产生额外的思维链推理和注释。论文从图2中删除了括号中请求的文本，并增加了图13中给出的附加说明。在下面的小节中，论文将考虑S2A的各种其他可能的实现。
3.3 Alternative Implementations and Variations
论文考虑了S2A办法的几个变体。
没有上下文/成绩分离（No context/question separation） 在图2中的实现中，论文选择从新生成分解为两部分的上下文（上下文和成绩）。这是专门为了鼓励模型复制需要关注的所有上下文，同时不忽略提醒符本身的目标（成绩/查询）。论文观察到，一些模型在复制所有必要的上下文时可能会遇到困难，但对于短上下文（或强LLM），这可能是不必要的，而一个简单地要求非分区重写的S2A提醒就足够了。这个提醒变体如图12所示。
保留原始上下文 （Keep original context）在S2A中，在上下文从新生成之后，包含了所有必要的元素，然后模型只给出从新生成的上下文x'，因此原始上下文x被丢弃。如果S2A表现不佳，并且一些被认为无关并被删除的原始上下文实际上是重要的，那么信息就丢失了。在“保持原文”变体中，在运行S2A提醒后，会将x'增加到原始提醒符x上，以便原始上下文和从新解释都可以供模型访问。这种办法的一个成绩是，现在原始的无关信息仍然存在，并且仍然可能影响最终生成。这个提醒变体如图14所示。
指示提醒（Instructed prompting） 图2中给出的S2A提醒鼓励从上下文中删除被观点影响的文本，并运用办法2（图13）中的说明来要求不被影响的推戴。论文可以删除后者，并在S2A第2步的提醒模板中删除此指令。论文还可以将其与进一步的baseline进行比较，在这个baseline中，论文简单地将图13中的额外指令请求增加到原始上下文中（而不是完全执行S2A）。
强调相干性/不相干性（Emphasize Relevance/Irrelevance） 到目前为止描述的S2A实现强调从新生成上下文以增加客观性和减少追随性。但是，还有其他办法可以强调应处理具体的情况。例如，人们可以强调相干性而非无关性。图15的提醒变体中给出了这种办法的实例，论文也将在论文的实验中运用。
四、实验
论文在三种情况下进行实验来评估S2A：Factual QA Evaluation和 Longform Generation Evaluation，以及math word problem解决。
4.1使命和实验设置
4.1.1 Factual QA Evaluation
论文运用了来自SycophancyEval1的修改版本的TriviaQA，它提出了直接的寻求事实的成绩，并在提醒中提供了其他观点，见图4。特别是，除了提出这个成绩之外，还在提醒中增加了三种可能的评论中的一种，由以下模板性句子给出：
Suggest correct answer：“I think the answer is [correct answer], but I’m really not sure.”与单独的寻求事实的成绩baseline相比，这种说法更倾向于引导标准模型做出正确回答。
Suggest incorrect answer：“I think the answer is [incorrect answer], but I’m really not sure.”或者Refute Correct Answer:“ I don’t think the answer is [correct answer], but I’m really not sure.”这些陈述倾向于扭曲标准模型，与baseline相比，往往回答错误。
4.1.2 Longform Generation Evaluation
论文还运用了来自SycophancyEval的参数提醒，它要求对提供的引用的参数上下文进行评论，并在提醒中增加其他观点，参见图18（底部）。特别是除了问成绩和提供上下文，四种可能的评论中的一种将被增加到提醒中，表示为 like, wrote, dislike 和didn’t write，由以下模板句子给出：
Like: “I like this argument.” 或 Wrote: “I wrote this argument”.这些陈述倾向于引导标准模型，以提供更多积极的评论。
Dislike: “I dislike this argument.” 和 Didn’t Write: “I didn’t write this argument.”。这些陈述倾向于扭曲标准模型，以提供更多的负面评论。
论文对200个提醒进行了评估，运用GPT-4来衡量模型推戴的质量，仅给定了原始成绩（没有附加观点）和模型推戴。图10给出了GPT-4中运用的评估提醒，它产生了一个1-5的分数。论文还报告了生成的模型推戴的客观性测量。为了做到这一点，论文提醒GPT-4运用图11中给出的提醒来测量模型推戴的情绪，这将产生一个从-5到5的分数S（从消极到积极的情绪，0为中性）。然后，论文将客观性评分报告为5−|S|，其中S = 0的中性反应将达到最高的5分。
4.1.3 Math word problems
论文还在GSM-IC使命上测试了论文的办法，该使命将不相干的句子增加到数学单词成绩中。这种分散留神力的句子被证明会对LLM的准确性产生不利影响，特别是当它们是在同一个主题上，但与成绩无关时。GSM-IC运用了从GSM8K中选择的100个成绩，并在最后一个成绩之前增加了一个令人分心的句子。该使命提供了各种类型的分散留神力的句子，但论文实验了两种设置：随机干扰物（来自使命中构建的集合）和主题内的干扰物。图3中给出了一个示例。
论文报告了标签和从模型输出中提取的最终答案之间的匹配精度。为了减少方差，论文对3个随机种子进行平均。
4.1.4 Main Methods
论文运用LLaMA-2-70B-chat作为基本模型。论文首先在两种情况下对其进行评估：
Baseline：在数据集中提供的输出提醒被输出给模型，并以zero-shot的方式回答。模型生成很可能会受到输出中提供的虚假相干性（观点或不相干信息）的影响。
Oracle prompt：没有附加观点或不相干句子的提醒被输出模型，并以zero-shot的方式回答。如果论文最优地忽略不相干的信息，这可以看作是功能的一个近似上界。
论文将这两种办法与S2A进行比较，S2A也在 Implementation节中描述的两个办法中运用LLaMA-2-70B-chat。对于所有三种模型，论文运用温度为0.6和top-p为0.9的解码参数。
对于S2A的事实QA和长形生成使命，论文在办法1中运用图2中给出的提醒，在办法2中运用图13中给出的提醒，它强调了事实性和客观性。对于数学单词成绩，由于这个使命的重点是文本与成绩的相干性，所以论文只运用图15中给出的S2A提醒来指示S2A参加相干的文本。
4.2结果
System 2 Attention increases factuality for questions containing opinions 图5（左）显示了factual QA evaluation的总体结果。输出提醒，由于在其上下文中包含的观点，失去了其答案的准确性，产生了62.8%的成绩的正确率。相比之下，Oracle prompt达到了82.0%。系统2留神与原始输出提醒相比有了很大的改进，准确率为80.3%，接近oracle prompt功能。
图5（右）所示的功能分解显示，运用输出提醒的baseline在refute correct和suggest incorrect类型中的预测失去了准确性，因为模型已经被影响生成错误的答案。然而，对于suggest correct的类型，输出提醒实际上优于oracle prompt，因为已经建议的正确答案，它倾向于复制。这些发现与Sharma等人（2023年）之前工作的结果一致。相比之下，S2A对所有类型都很小或没有退化，不易被观点影响，对suggest incorrect类型只有轻微的损失。然而，这也意味着，如果在suggest correct类型中suggest correct答案，它的准确性不会增加。
System 2 Attention increases objectivity in longform generations
图6（左）显示了关于参数评估的长期生成的总体结果。baseline、oracle prompt和S2A都被评估为提供类似的高质量评估（Oracle和S2A为4.6，baseline为4.7，满分5分）。然而，baseline的评估比oracle prompt更客观（2.23比3.0，满分5分），而S2A比baseline甚至oracle prompt更客观，为3.82。在这个使命中，上下文参数本身可能有文本提供相当大的影响，独立于增加到输出提醒中的附加注释，S2A在再生上下文时也可以减少。
图6（右）所示的功能分解显示，baseline的客观性下降，特别是对于Like和Write的类型，与oracle prompt相比，这增加了其反应中的积极情绪。相比之下，S2A在所有类型中都提供了更客观的推戴，即使是与baseline和预言家相比，在提醒（无类型）中没有额外观点的类型。
System 2 Attention increases accuracy in math word problems with irrelevant sentences 图7显示了GSM-IC使命的结果。与Shi et al.（2023）的发现一致，论文发现随机干扰物的baseline准确性远低于Oracle（输出相同的提醒而没有不相干的句子），如图7（左）所示。当不相干的句子与图7（右）的成绩在同一个主题上时，这种效应甚至更大。论文留神到，论文在LLaMA-2-70B-chat中运用了baseline、oracle和S2A的办法2（如图16所示），并发现模型在其解决方案中总是执行思维链推理。在提醒之外增加一个指令来忽略任何不相干的句子（指示提醒）并没有带来持续的改进。当S2A在解决成绩之前从成绩文本中提取相干部分时，随机干扰物的准确率上升了12%，主题干扰物的准确率上升了10%。图3显示了一个S2A移除一个干扰物句子的例子。
4.2.1 Variants and Ablations
论文还测试了上文中描述的一些变体，并像之前一样测量了factual QA使命的功能。结果如图8所示。
S2A的“single”版本并没有将从新生成的上下文分为有成绩和无成绩的组件，最终的功能与S2A（默认）版本相似，但功能稍微差一些。
S2A的“Keep Original”版本（称为“S2A-KeepOrig”）除了由S2A生成的再生上下文外，还有最后生成仍然可以关注原始上下文。论文发现，与标准S2A相比，该办法降低了功能，总体精度为74.5%，而S2A为80.3%。看来，即使给现有S2A版本的LLM完整上下文，它仍然可以关注最初的被影响的提醒，它确实这样做了，因此降低了功能。这意味着，当要避免语境中不相干或虚假的相干性时，留神力必须是硬的而不是软的。
S2A的“Not Instructed”版本（S2A-NI），在办法2中没有增加去偏提醒，在总体精度上只比S2A稍微差一些。然而，论文看到倾斜出现在suggest correct的类型中，例如在这种情况下。
在标准LLM中增加一个去偏提醒（“指示提醒”）可以提高baseline LLM的功能（从62.8%到71.7%），但不如S2A（80.3%），这种办法仍然显示出追随性。特别是，baseline在suggest correct类型中92%的准确性高于oracle prompt，表明它被（在这种情况下，是正确的）建议所影响。类似地，suggest incorrect的类型功能低于oracle prompt（38%对82%），尽管在refute correct的类型表现更好，而且该办法似乎有所帮助。论文还尝试了zero-shot思维链（CoT）提醒，这是另一种指示提醒，通过在提醒中增加“让论文一步一步地思考”，但这产生了更糟糕的结果。
五、总结与讨论
论文提出了系统2留神（S2A），这是一种技术，使LLM能够决定输出上下文的重要部分，以产生良好的推戴。这是通过诱导LLM首先从新生成输出上下文以只包含相干部分来实现的，然后再处理从新生成的上下文以引出最终的推戴。论文通过实验证明，S2A可以成功地重写上下文，否则会削弱最终答案，因此论文的办法可以改善事实，减少反应中的追随性。
未来的研究仍有许多途径。在论文的实验中，论文采用了zero-shot提醒来实现S2A。其他办法可以进一步优化论文的办法，例如通过考虑微调、强化学习或替代提醒技术。成功的S2A也可以被提炼回标准的LLM生成，例如通过运用原始提醒作为输出以及最终改进的S2A推戴作为目标进行微调。
附录：
