论文解读

一、简要介绍 本文简要介绍了论文“System 2 Attention (is something you might need too) ”的相干工作。基于transformer的大语言模型（LLM）中的软留神很容易将上下文中的不相干信息合并到其潜在的表征中，这将对下一token的生成产生不利影响。为了帮助纠正这些成绩，论文引入了System 2 Attention（S2A），它利用LLM的能力…