URIAL - AI在线

微调都不要了？3个样本、1个提示搞定LLM对齐，提示工程师：全都回来了

大模型的效果好不好，有时候对齐调优很关键。但近来很多研究开始探索无微调的方法，艾伦人工智能研究所和华盛顿大学的研究者用「免调优」对齐新方法超越了使用监督调优（SFT）和人类反馈强化学习（RLHF）的 LLM 性能。我们知道，仅在无监督文本语料库上预训练的基础大语言模型（LLM）通常无法直接用作开源域的 AI 助手（如 ChatGPT）。因此，为了让这些基础的 LLM 成为有用且无害的 AI 助手，研究人员往往使用指令调优和偏好学习对它们进行微调。先来看下指令调优的定义，它是一种监督微调（SFT）过程，主要使用人工注