AI在线 AI在线

学术打假！清华上交大研究颠覆认知：强化学习竟是大模型推理的"绊脚石"

作者：AI在线
2025-04-23 02:00
【研究颠覆】清华大学与上海交通大学联合发表的最新论文，对业界普遍认为"纯强化学习（RL）能提升大模型推理能力"的观点提出了挑战性反驳。 研究发现，引入强化学习的模型在某些任务中的表现，反而逊色于未使用强化学习的原始模型。 【实验验证】研究团队在数学、编码和视觉推理三大领域进行了系统性实验:数学任务:在GSM8K、MATH500等基准测试中，RL模型在低采样次数（k值）下准确率提升，但在高k值时问题覆盖率显著下降编码任务:RLVR训练模型在HumanEval 等测试中单样本pass@1分数提高，但在高采样数（k=128）时覆盖率下降视觉推理:Qwen-2.5-VL-7B模型在多模态任务中表现一致，RL未改变其基本问题解决策略【学界争议】研究结果引发学界激烈讨论:支持方认为RL提高了采样效率但限制了推理能力开发反对方指出可能是奖励结构缺陷而非RL本身问题中立观点建议结合蒸馏等其他方法增强推理【本质思考】研究团队提出关键区分:能力:模型解决问题的潜质与逻辑链条效率:在给定能力范围内得出答案的速度与稳定性强化学习更像是"能力调控器"而非"能力创造器"，它能让模型更擅长做已知的事，但难以开发新的推理路径。

【研究颠覆】

清华大学与上海交通大学联合发表的最新论文，对业界普遍认为"纯强化学习（RL）能提升大模型推理能力"的观点提出了挑战性反驳。研究发现，引入强化学习的模型在某些任务中的表现，反而逊色于未使用强化学习的原始模型。

image.png

【实验验证】

研究团队在数学、编码和视觉推理三大领域进行了系统性实验:

  • 数学任务:在GSM8K、MATH500等基准测试中，RL模型在低采样次数（k值）下准确率提升，但在高k值时问题覆盖率显著下降
  • 编码任务:RLVR训练模型在HumanEval+等测试中单样本pass@1分数提高，但在高采样数（k=128）时覆盖率下降
  • 视觉推理:Qwen-2.5-VL-7B模型在多模态任务中表现一致，RL未改变其基本问题解决策略

image.png

【学界争议】

研究结果引发学界激烈讨论:

  • 支持方认为RL提高了采样效率但限制了推理能力开发
  • 反对方指出可能是奖励结构缺陷而非RL本身问题
  • 中立观点建议结合蒸馏等其他方法增强推理

【本质思考】

研究团队提出关键区分:

  • 能力:模型解决问题的潜质与逻辑链条
  • 效率:在给定能力范围内得出答案的速度与稳定性

强化学习更像是"能力调控器"而非"能力创造器"，它能让模型更擅长做已知的事，但难以开发新的推理路径。

【行业启示】

这项研究为过热的大模型RL训练热潮敲响警钟，提示行业应:

  1. 更关注基础模型的表示能力与知识组织
  2. 明确区分能力提升与效率优化的目标
  3. 建立更科学的推理能力评估体系
相关标签：
大模型 清华大学 上海交通大学 强化学习(RL)

相关资讯

强化学习成帮凶，对抗攻击LLM有了新方法

强化学习成帮凶，对抗攻击LLM有了新方法
事物都有多面性，正如水，既能载舟，亦能覆舟，还能煮粥。 强化学习也是如此。 它既能帮助 AlphaGo 击败顶级围棋棋手，还能帮助 DeepSeek-R1 获得强大的推理能力，但它也可能被恶意使用，成为攻击 AI 模型的得力武器。
3/6/2025 9:11:00 PM
机器之心
RL 是推理神器？清华上交大最新研究指出：RL 让大模型更会“套公式”、却不会真推理

RL 是推理神器？清华上交大最新研究指出：RL 让大模型更会“套公式”、却不会真推理
清华和上交的最新论文中，上演了一场“学术打假”的戏码。 文中研究者们对当前“纯 RL 有利于提升模型推理能力”的主流观点提出了相反的意见。 通过一系列实验，他们证明引入强化学习的模型在某些任务中的表现，竟然不如未使用强化学习的模型。
4/23/2025 11:11:00 AM
郑佳美||梁丙鉴
SWEET-RL：基于训练时信息的多轮LLM代理强化学习框架

SWEET-RL：基于训练时信息的多轮LLM代理强化学习框架
SWEET-RL（Step-WisE Evaluation from Training-time information，基于训练时信息的逐步评估）是多轮大型语言模型（LLM）代理强化学习领域的重要技术进展。 该算法相较于现有最先进的方法，成功率提升了6%，使Llama-3.1-8B等小型开源模型能够达到甚至超越GPT-4O等大型专有模型的性能水平。 本文将深入分析SWEET-RL如何改进AI代理在复杂协作任务中的训练方法。
3/28/2025 10:16:15 AM
Jenray
  • 1
评论
顶部