AI在线 AI在线

ReMax

在RTX 4090被限制的时代下，让大模型使用RLHF更高效的方法来了

在RTX 4090被限制的时代下，让大模型使用RLHF更高效的方法来了
该论文介绍了一种名为 ReMax 的新算法，专为基于人类反馈的强化学习（RLHF）而设计。ReMax 在计算效率（约减少 50% 的 GPU 内存和 2 倍的训练速度提升）和实现简易性（6 行代码）上超越了最常用的算法 PPO，且性能没有损失。论文链接：：李子牛，许天，张雨舜，俞扬，孙若愚，罗智泉机构：香港中文大学（深圳），深圳市大数据研究院，南京大学，南栖仙策开源代码：，所有图片来自于论文。背景今年，以 ChatGPT 为首的大语言模型（Large Language Models, LLMs) 在各个方面大放光彩
10/20/2023 3:18:00 PM
机器之心
  • 1