尽管收集人类对模型生成内容的相对质量的标签，并通过强化学习从人类反馈（RLHF）来微调无监督大语言模型，使其符合这些偏好的办法极大地推动了对话式人工智能的发展。但由于 RLHF 是一个复杂且常常不稳定的过程，关于直接应用优化函数将人类的偏好和模型的结果从事对齐的研究成为时下的热点问题。
本文是 hugging face 上的一篇博客，针对时下常见的三种人类偏好优化算法从事了本能比较。作家从事了大量的实行，旨在通过不同的模型和不同的超参数，对无需强化学习（或偏好调整）就能调整语言模型的三种可行办法从事评价。这三种优化办法是：
直接偏好优化 (Direct Preference Optimization, DPO)（https://huggingface.co/papers/2305.18290）
身份偏好优化 (Identity Preference Optimisation, IPO)（https://huggingface.co/papers/2310.12036）
Kahneman-Taversky 优化（KTO）（https://github.com/ContextualAI/HALOs）
本文五位作家
太长不看版
在这篇博客中，作家对三种优秀的 LLM 对齐算法从事了评价，分别是：直接偏好优化（DPO）、身份偏好优化（IPO）和 Taversky Optimisation 优化（KTO），并且在两个高质量的 7b 参数 大小的 LLM 上从事了实行。这些 LLM 经过了有监督微调，但没有从事人类偏好调整。作家发现，虽然确实能找到效果最好的算法，但要获得最佳结果，必须对一些关键超参数从事调整。
无强化学习的对齐
DPO 的原理示意图 (https://arxiv.org/abs/2305.18290)
直接偏好优化（DPO）已成为将大型语言模型（LLM）与人类或人工智能偏好相结合的一种很有前景的方案。与基于强化学习的传统对齐办法不同，DPO 将对齐公式重新定义为一个简单的损失函数，该函数可以直接在偏好数据集｛（x，y_w，y_l）｝上从事优化，其中 x 是 prompt，y_w，y_l 分别是偏好的和非偏好的推戴。
人类偏好调整数据集的示例
DPO 简单易用的特性使得它广受欢迎，并已成功应用于 Zephyr 模型和 Intel 提出的 NeuralChat 等模型的训练当中。
DPO 的成功激发了研究人员对新的损失函数从事研究，这些研究可以归纳为以下两个主要方向：
稳健性：DPO 的一个缺点是它在人类偏好数据集上很快就会过拟合。为了避免这种情况，谷歌 DeepMind 的研究人员引入了身份偏好优化（IPO），这种办法为 DPO 损失添加了一个正则，能够在不应用「提前停止」等技巧的情况下让模型收敛。
对成对偏好数据从事分配：与大多数比对办法一样，DPO 需要一个成对偏好数据集
，能够根据一组标准（如有益性或有害性），来标记哪种模型推戴更好。在实践过程中，创建这些数据是一项耗时且成本高昂的工作。ContextualAI 最近提出了一种有趣的替代方案，称为 Kahneman-Taversky 优化（KTO），它完全根据被标记为「好」或「坏」的样本（例如在谈天 UI 中看到的图标👍或👎）来定义损失函数。这些标签更容易获得，可以说 KTO 是一种很有前景的办法，可以不断更新在生产环境中运行的谈天模型。
与此同时，需要注意这些办法都有相应的超参数，其中最重要的是 β ，这是一个控制对应用模型的偏好程度的权重。随着这些办法已经可以通过第三方库（如 huggingface TRL）来应用，接下来自然而然的问题是「在这些办法和超参数中，哪个组合能产生最好的谈天模型？」
本文旨在通过对这三种办法从事实行分析来回答这个问题，并且还要对关键超参数逐个分析，例如 β 和训练步数，最后通过 MT-Bench 评价所得模型的本能。MT-Bench 是衡量谈天模型功能的常见基准。
源代码地址：https://github.com/huggingface/alignment-handbook
应用链接
以下是相关资料的获取地址：
执行超参数扫描的代码和配置文件：https://github.com/huggingface/alignment-handbook/tree/main/recipes/pref_align_scan
本文应用的数据集和模型的集合：https://huggingface.co/collections/alignment-handbook/dpo-vs-kto-vs-ipo-65a69c5f03548d61dbe29ef8
实行设置
在从事对齐实行时，需要考虑两个主要因素：需要优化的模型和数据集。为了获得更多数据，作家考虑了两个模型，OpenHermes-2.5-Mistral-7B 和 Zephyr-7B-β-sft，以及两个对齐数据集：Intel 的 orca_dpo_paries 数据集和 ultrafeedback-binarized（https://huggingface.co/datasets/HuggingFaceH4/ultrafeedback_binarized）数据集。
orca_dpo_paries 数据集地址：https://huggingface.co/datasets/Intel/orca_dpo_pairs
ultrafeedback-binarized 数据集地址：https://huggingface.co/datasets/HuggingFaceH4/ultrafeedback_binarized
在第一个实行中，作家应用了 OpenHermes-2.5-Mistral-7B，因为它是不应用任何对齐办法的条件下，最好的 7B 级谈天模型之一。然后，本文应用了 Intel 的 orca_dpo_paries 数据集，该数据集包含 13k 个 prompt，其中被选择的推戴结果由 GPT-4 生成，不需要的推戴由 Llama Chat 13b 生成。这也是 NeuralChat 和 NeuralHermes-2.5-Mistral-7B 应用的数据集。
由于 KTO 本身不需要成对的偏好数据，作家直接将 GPT-4 生成的推戴归类为「好」标签，将 Llama Chat 13b 的推戴视为「坏」标签。虽然 GPT-4 的推戴可能比 Llama Chat 13b 普遍更受欢迎，但在某些情况下，Llama-Chat-13b 可能会产生更好的推戴，但作家认为这只是小概率事件，可以忽略不计。
第二个实行基于 ultrafeedback-binarized 数据集，在 Zephyr-7b-β-sft 模型上从事了偏好比对。ultrafeedback-binarized 数据集包含 66k 个 prompt 以及成对的偏好与拒绝的推戴。该数据集之前被用于训练原始 Zephyr 模型，该模型当时在许多自动化基准测试和人工评价方面是 7B 类模型中最好的。
实行配置
对齐手册提供了一种配置单个实行的简单办法，这些参数可以在 run_dpo.py 中配置。
作家在 Zephyr 上的实行配置也基本类似。
谈天模板由基本谈天模型中自动推断，OpenHermes-2.5 应用 ChatML，Zephyr 应用 H4。如果用户想应用自己的谈天格式，分词库现在已经启用了应用 jinja 格式字符串的用户定义谈天模板：
# Example of the Zephyr chat template
"{% for message in messages %}\n {% if message ['role'] == 'user' %}\n {{ '<|user|>\n' + message ['content'] + eos_token }}\n {% elif message ['role'] == 'system' %}\n {{ '<|system|>\n' + message ['content'] + eos_token }}\n {% elif message ['role'] == 'assistant' %}\n {{ '<|assistant|>\n' + message ['content'] + eos_token }}\n {% endif %}\n {% if loop.last and add_generation_prompt %}\n {{ '<|assistant|>' }}\n {% endif %}\n {% endfor %}"
如下可以将对话格式化：
# <|system|> # You are a friendly chatbot who always responds in the style of a pirate.</s> # <|user|># How many helicopters can a human eat in one sitting?</s> # <|assistant|> # Ah, me hearty matey! But yer question be a puzzler! A human cannot eat a helicopter in one sitting, as helicopters are not edible. They be made of metal, plastic, and other materials, not food!
遍历超参数
实行中，作家逐次调整 β 值，分别在 0.01、0.1、0.2、…、0.9 时，对 DPO、IPO 和 KTO 三种办法从事实行。之所以包括 0.01，是因为作家观察到一些对齐算法对这个参数特别敏感。所有实行都只训练了一个 epoch。期间其他超参数保持不变，包括随机种子。
然后，作家应用上面定义的基本配置在 hugging face 的模型上逐个从事实行。
# Define an array containing the base configs we wish to fine tune
configs=("zephyr" "openhermes")
# Define an array of loss types
loss_types=("sigmoid" "kto_pair" "ipo")
# Define an array of beta valuesbetas=("0.01" "0.1" "0.2" "0.3" "0.4" "0.5" "0.6" "0.7" "0.8" "0.9")
# Outer loop for loss types
for config in "${configs [@]}"; do
for loss_type in "${loss_types [@]}"; do
# Inner loop for beta values
for beta in "${betas [@]}"; do
# Determine the job name and model revision based on loss type
job_name="$config_${loss_type}_beta_${beta}"
model_revision="${loss_type}-${beta}"
# Submit the job
sbatch --job-name=${job_name} recipes/launch.slurm dpo pref_align_scan config_$config deepspeed_zero3 \\
"--beta=${beta} --loss_type=${loss_type} --output_dir=data/$config-7b-align-scan-${loss_type}-beta-${beta} --hub_model_revision=${model_revision}"
done
done
done
实行结果
作家应用 MT Bench 评价了所有模型，这是一个多轮对话的基准。该基准应用 GPT-4 来判断模型在八个不同类别中的表现，分别是写作、角色扮演、推理、数学、编码、提取、STEM 和人文学科。虽然存在一些不完美的地方，但 MT Bench 仍然是评价会话 LLM 的好办法。
Zephyr-7b-β-SFT
不同 β 取值情况下，Zephyr 模型的在 MT Bench 上的评分。
对于 Zephyr 模型，作家观察到 β 值取 0.01 时，模型本能最佳。这个结论在测试的所有三种算法中都是一致的，一个有趣的后续实行是在 0.0-0.2 范围内从事更细粒度的扫描。虽然 DPO 可以获得最高的 MT Bench 分数，但我们发现 KTO（成对）在除一种超参数情况外的所有设置中都能获得更好的结果。IPO 虽然有更强的理论保证，但在除一种情况外的所有情况下似乎都比基础模式更糟糕。
MT Bench 各类别中，每种算法在 Zephyr 模型上的最佳结果。
通过分解 MT bench 评价的各个类别中每个算法的最佳结果，可以确定这些模型的优缺点。可以看到，在推理、编码和数学问题上仍有很大的改进空间。
OpenHermes-7b-2.5
虽然在这个模型上对各算法的观察结果与 OpenHermes 保持一致，即 DPO>KTO>IPO，但 β 的最佳取值点不尽相同。DPO、KTO 和 IPO 的最佳 β 选择分别为 0.6、0.3 和 0.01。
OpenHermes 模型上，不同 β 的 MT Bench 得分。
OpenHermes-7b-2.5 显然是一个更强的基础模型，在人类偏好调整后，MT Bench 得分仅提高了 0.3。
MT Bench 各类别中，三种算法在 OpenHermes 模型上的最佳结果。
总结
在这篇博客中，作家强调了在执行偏好对齐时选择正确的超参数的重要性。通过实行证明了 DPO 在成对偏好设置中优于 KTO，尽管有更强的理论保证，但 IPO 的本能似乎很差。
这些实行结果都是可复现的，代码和配置文件现在都可以在对齐手册中找到。同时还可以看到本能最好的模型及数据集。
未来展望
作家将继续探索新的人类偏好对齐算法，并评价它们的本能。至少从目前看来，DPO 是最稳健和本能最好的大语言模型对齐算法。KTO 也同样具有发展前景，因为 DPO 和 IPO 都需要成对偏好数据，而 KTO 可以应用于任何含有正负面标签的数据集。
原文链接：https://huggingface.co/blog/pref-tuning?continueFlag=480af4490eaf8a2f4544fe3658589730