Reward Model - AI在线

深挖RLHF潜力，复旦语言和视觉团队创新奖励模型优化，让大模型更对齐

继第一份大模型对齐技术报告（Secrets of RLHF in Large Language Models Part I）获 NeurIPS 2023 workshop best paper 后，第二份报告强势归来，复旦语言和视觉团队联合推出的第二份报告将进入这一领域更深层的探索和优化之旅。在首份报告中，复旦团队揭示了 RLHF 在大语言模型中的基本框架，并深入分析了 PPO 算法的内部机制，特别是 PPO-max 的高级版本在策略模型训练稳定性中的关键作用。现在，复旦团队进一步挖掘 RLHF 的潜力，重点关注奖