AI 帮忙经过训练，可以给出人类喜好的回覆，该研讨表明，这些 AI 系统通常会产生谄媚人类的呼应，但这些呼应并不完全准确。通过分析表明，人类的反应有助于这种行动。
不管你是身处 AI 圈还是其他领域，或多或少的都用过大语言模型（LLM），当大家都在赞叹 LLM 带来的各种变革时，大模型的一些短板逐渐暴露出来。
例如，前段时间，Google DeepMind 发明 LLM 普遍存在「谄媚（ sycophantic ）」人类的行动，即有时人类用户的观点客观上不准确，模型也会调整自己的呼应来遵循用户的观点。就像下图所展示的，用户告诉模型 1+1=956446，然后模型遵从人类指令，认为这种谜底是对的。
图源 https://arxiv.org/abs/2308.03958
实际上，这种现象普遍存在于很多 AI 模型中，原因出在哪里呢？来自 AI 初创公司 Anthropic 的研讨者对这一现象进行了分析，他们认为「谄媚」是 RLHF 模型的普遍行动，部分原因是人类偏好「谄媚」呼应导致的。
论文地址：https://arxiv.org/pdf/2310.13548.pdf
接下来我们看看具体的研讨过程。
像 GPT-4 等 AI 帮忙，都是经过训练才能产生比较准确的谜底，其中绝大多数用到了 RLHF。使用 RLHF 微调语言模型可以提高模型的输出质量，而这些质量由人类进行评价。然而，有研讨认为基于人类偏好判断的训练方式并不可取，模型虽然能产生吸引人类评价者的输出，但实际上是有缺陷或不准确的。与此同时，最近的工作也表明，经过 RLHF 训练的模型往往会供给与用户同一的谜底。
为了更好的了解这一现象，该研讨首先探索了具有 SOTA 性能的 AI 帮忙是否在各种现实环境中会供给「谄媚」的模型呼应，结果发明 5 个经过 RLHF 训练的 SOTA AI 帮忙在自由格式文本生成任务中出现了同一的「谄媚」模式。由于「谄媚」似乎是 RLHF 训练模型的普遍行动，因此本文还探讨了人类偏好在此类行动中的作用。
本文还对偏好数据中存在的「谄媚」是否会导致 RLHF 模型中的「谄媚」进行了探索，发明更多的优化会增加某些形式的「谄媚」，但会减少其他形式的「谄媚」。
大模型的「谄媚」 程度及影响
为了评价大模型的「谄媚」程度，并分析对现实生成有何影响，该研讨对 Anthropic、OpenAI 和 Meta 发布的大模型的「谄媚」程度进行了基准测试。
具体来说，该研讨提出了 SycophancyEval 评价基准。SycophancyEval 对现有大模型「谄媚」评价基准进行了扩展。模型方面，该研讨具体测试了 5 个模型，包括：claude-1.3 (Anthropic, 2023)、claude-2.0 (Anthropic, 2023)、GPT-3.5-turbo (OpenAI, 2022)、GPT-4 (OpenAI, 2023)、llama-2-70b-chat (Touvron et al., 2023)。
谄媚用户偏好
当用户要求大模型对一段辩论文本供给自由形式的反应时，理论上讲，论证的质量仅取决于论证的内容，然而该研讨发明大模型会对用户喜好的论点供给更积极的反应，对用户不喜好的论点供给更消极的反应。
以下图 1 所示，大模型对文本段落的反应不仅仅取决于文本内容，还受到用户偏好的影响。
很容易被左右
该研讨发明即使大模型供给了准确的谜底并表示它们对这些谜底充满信心，它们也经常在用户提出质疑时修改谜底，供给失误的信息。因此，「谄媚」会损害大模型呼应的可信度和可靠性。
供给符合用户信念的谜底
该研讨发明，对于开放式问答任务，大模型会偏向于供给与用户信念同一的回覆。例如，在下图 3 中，这种「谄媚」行动让 LLaMA 2 准确率降低了多达 27%。
模仿用户的失误
为了测试大模型是否会重复用户的失误，该研讨商量大模型是否会失误地给出诗歌的作者。以下图 4 所示，即使大模型可以回覆出诗歌准确的作者，也会因用户给出失误信息而回覆失误。
理解语言模型中的阿谀谄媚
该研讨发明在不同的现实环境中多个大模型都展现出同一的「谄媚」行动，因此推测这可能是 RLHF 微调造成的。因此，该研讨分析了用于训练偏好模型 (preference model，PM) 的人类偏好数据。
以下图 5 所示，该研讨分析了人类偏好数据，商量了哪些特征可以预测用户偏好。
实验结果表明，在其他条件相同的情况下，模型呼应中的「谄媚」行动会增加人类更喜好该呼应的可能性。而用于训练大模型的偏好模型（PM）对大模型「谄媚」行动的影响是复杂的，以下图 6 所示。
最后，研讨者商量了人类和 PM（PREFERENCE MODELS）模型偏向于真实回覆的频率是多少？结果发明，人类和 PM 模型更偏向于谄媚的呼应，而不是准确的呼应。
PM 结果：在 95% 的情况下，谄媚的呼应比真实呼应更受欢迎（图 7a）。该研讨还发明，PM 几乎有一半的时间（45%）更喜好谄媚的呼应。
人类反应结果：尽管人类偏向于更诚实的呼应而不是谄媚的呼应，但随着难度（misconception）的增加，他们选择可靠性谜底的概率会降低（图 7b）。尽管汇总多个人的偏好可以提高反应的质量，但这些结果表明，仅通过使用非专家的人类反应来完全消除谄媚可能具有挑战性。
图 7c 表明，尽管针对 Claude 2 PM 的优化减少了谄媚，但效果并不明显。
了解更多内容，请查看原论文。