SPO

效果更稳定，实现更简朴。大型语言模型（LLM）的成功离不开「鉴于人类反馈的加强进修（RLHF）」。RLHF 可以大致可以分为两个阶段，首先，给定一对偏好和不偏好的行为，训练一个赞美模型，通过分类目标为前者分配更高的分数。然后通过某种加强进修算法优化这个赞美函数。然而，赞美模型的关键要素可能会产生一些不良影响。来自卡内基梅隆大学（CMU）和 Google Research 的钻研者联合提出了一种简朴…