比较式非似然训练

除了分数，打出分数背后的理由对于大模型对齐更具价值。现有的大模型对齐方法包括鉴于示例的监督微调（SFT）和鉴于分数反应的强化进修（RLHF）。然而，分数只能反应当前复原的好坏程度，并不能明确指出模型的不足之处。相较之下，我们人类通常是从谈话反应中进修并调整自己的行为模式。就像审稿意见不仅仅是一个分数，还包括许多接受或者拒绝的理由。那么，大谈话模型能否也像人类一样使用谈话反应来改善自身呢？最近，香港…