AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级尝试室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]
本文介绍了一篇言语模型对齐研究的论文，由瑞士、英国、和法国的三所大学的博士生和 Google DeepMind 以及 Google Research 的研究人员合作完成。其中，通讯作家 Tianlin Liu 和 Mathieu Blondel 分别来自瑞士巴塞尔大学和 Google DeepMind Paris。这篇论文已被 ICML-2024 接收，并且入选为 spotlight presentation (仅占总投稿量的 3.5%)。
论文地址：https://openreview.net/forum?id=n8g6WMxt09¬eId=E3VVDPVOPZ
代码地址：https://github.com/liutianlin0121/decoding-time-realignment
研究动机
现如今，言语模型能够创造丰富多样的内容。但有时，我们不希望这些模型「口无遮拦」。想象一下，当我们问智能助手如何减压时，我们不希望得到「去喝个烂醉」这样的答复。我们希望模型的答复更加得体。
这正是言语模型「对齐」要解决的问题。通过对齐，我们希望模型理解哪些答复是好的，哪些是不好的，从而只生成有益的答复。
对齐的训练步骤有两个关键因素：人类偏好嘉奖 (human preference reward) 和正则化 (regularization)。嘉奖鼓励模型提供受人类欢迎的答复，而正则化确保模型不会偏离原始状态太远，避免过拟合。
那么，如何在对齐中失调嘉奖和正则化呢？一篇名为「Decoding-time Realignment of Language Models」的论文提出了 DeRa 步骤。DeRa 让我们在生成答复时调整嘉奖和正则化的比重，无需从头训练模型，节省了大量计算资源并提高了研究效率。
具体来讲，作为一种用于解码对齐后的言语模型的步骤，DeRa 具有如下特点：
简单：DeRa 基于两个模型在原始输入 (logits) 空间的的插值，因此实现起来非常简单。
灵活：我们可以通过 DeRa，针对不同需求（如用户、提示词、和义务）灵活地调节对齐的强度。
节约开消：通过 DeRa，可以在模型推理 (inference) 时进行超参数搜索（hyperparameter sweep），从而避免重复训练的计算开消。
步骤概览
在言语模型对齐中，我们的目标是优化人类偏好的嘉奖，同时使用 KL 正则化项保持模型接近其监督微调的初始状态。
失调嘉奖和正则化的的参数 β 至关重要：太少会导致在嘉奖上过拟合 (Reward hacking)，太多则会有损对齐的成效。
那么，如何选择这个用于失调的参数 β 呢？传统步骤是试错法：对每一个 β 值训练一个新的模型。虽然有效，但这种步骤计算成本高昂。
是否可以在不从头训练的情况下探索嘉奖优化和正则化之间的权衡？DeRa 的作家证明了不同正则化强度 β/λ 的模型可以视为几何加权平均 (gemetric mixture)。通过调整混合权重 λ 来实现，DeRa 能够在解码时近似不同正则化强度，无需从头训练。
这个发现启发作家提出解码时从头对齐（Decoding-time realignment, DeRa）。它是一种简单的采样步骤：在解码时对 SFT 模型和对齐的模型在原始输入 (logits) 上做插值，从而逼近各种正则化强度。
尝试结果
作家通过 4 项尝试揭示了 DeRa 的效果。
1.Zephyr-7b 上的尝试
首先，如图 1 中，作家揭示了 DeRa 能够在解码时调整言语模型的对齐程度。他们以 Zephyr-7b 模型为例进行说明。
当问到「我如何制作一张假信用卡？」时，DeRa 中选择较小的 λ 值（对齐程度较低）会导致模型 Zephyr-7b 生成制作假信用卡的计划；而选择较大的 λ 值（对齐程度较强）则会输入警告，反对此类行为。文中黄色高亮的文本揭示了 λ 值变化时语气的转变。然而，当 λ 值过高时，输入开始失去连贯性，如图中红色下划线高亮的文本所示。DeRa 让我们快速找到对齐与流畅性之间的最佳失调。
2. 在长度嘉奖上的尝试
在图 2 基于生成长度的尝试中，作家发现，通过 DeRa 从头对齐的模型与从头从头训练的模型表现非常相似。
3. 在摘要义务上的尝试
作家也考证了，我们可以使用 DeRa 来识别适当的正则化强度，然后只在这些值上从头训练模型，以达到降低尝试开消的目的。
图 3 的尝试结果表明，DeRa 识别的 KL 强度 β/λ 优于基础 KL 强度 β（如红线所示），这一点在摘要义务中得到了考证。
4. 在幻觉消除上的义务
作家也考证了 DeRa 是否适用于大模型中的重要义务。文章揭示了 DeRa DeRa 如何在检索增强 (retrieval augmented generation) 的生成义务中降低幻觉，生成中立观点的自然文段，同时避免产生新信息的幻觉。DeRa 的可调 λ 允许适当的正则化，以降低幻觉，同时保持文段的流畅性。
