北京大学人工智能研究院

对齐新范式：批改未对齐的谜底比生成对齐的回覆更容易。背景大语言模型（LLMs）虽展现出了强大的能力，但也可能产生不可预测和有害的输出，例如冒犯性回应、虚假信息和泄露隐私数据，给用户和社会造成伤害。确保这些模型的行为与人类意图和价值观相对齐，是一个紧迫的挑战。尽管鉴于人类反馈的强化进修（RLHF）提供了一种解决方案，但它面临复杂的训练架构、对参数的高敏感性，以及赞美模型在不同数据集上的不稳定性等多重…