比照偏好进修

我们知道，ChatGPT 的成功离不开 RLHF 这个「秘密武器」。不过 RLHF 并不是完美无缺的，存在难以处理的优化困难。本文中，斯坦福大学等研究机构的团队探索用「比照偏好进修」替换掉「加强进修」，在速度和本能上都有不俗的浮现。在模型与人类意图对齐方面，根据人类反馈的加强进修（RLHF）已经成为一大流行范式。通常来说，RLHF 算法的工作过程分为两个阶段：一、利用人类偏好进修一个嘉奖函数；二、…