360联合北大震撼发布!5%参数量逼近Deepseek-R1满血性能

2025年2月24日,由360与北京大学联合研发的中等量级推理模型Tiny-R1-32B-Preview正式亮相,仅以5%参数,逼近DeepSeek-R1-671B的性能。 核心突破:小模型,大能量数学领域:以78.1分(AIME 2024评测)逼近原版R1模型(79.8分),远超DeepSeek-R1-Distill-Llama-70B(70.0分);综合性能:在编程(LiveCodeBench 61.6分)、科学(GPQA-Diamond 65.0分)领域全面领先最佳开源70B模型DeepSeek-R1-Distill-Llama-70B;效率跃迁:仅需5%参数量,性能达原版R1的95%以上,推理成本大幅降低。 技术革新:领域专精 模型融合研究团队使用「分治-融合」策略:基于DeepSeek-R1生成海量领域数据,分别训练数学、编程、科学三大垂直模型;通过Arcee团队Mergekit工具智能融合,突破单一模型性能上限,实现多任务均衡优化。

2025年2月24日,由360与北京大学联合研发的中等量级推理模型Tiny-R1-32B-Preview正式亮相,仅以5%参数,逼近DeepSeek-R1-671B的性能。

360联合北大震撼发布!5%参数量逼近Deepseek-R1满血性能

核心突破:小模型,大能量

  • 数学领域:以78.1分(AIME 2024评测)逼近原版R1模型(79.8分),远超DeepSeek-R1-Distill-Llama-70B(70.0分);
  • 综合性能:在编程(LiveCodeBench 61.6分)、科学(GPQA-Diamond 65.0分)领域全面领先最佳开源70B模型DeepSeek-R1-Distill-Llama-70B;
  • 效率跃迁:仅需5%参数量,性能达原版R1的95%以上,推理成本大幅降低。

技术革新:领域专精+模型融合

研究团队使用「分治-融合」策略:

  • 基于DeepSeek-R1生成海量领域数据,分别训练数学、编程、科学三大垂直模型;
  • 通过Arcee团队Mergekit工具智能融合,突破单一模型性能上限,实现多任务均衡优化。

开源承诺:推动技术普惠

  • 模型仓库:https://huggingface.co/qihoo360/TinyR1-32B-Preview
  • 即将公开完整技术报告、训练代码及部分数据集;
  • 践行开源精神,助力AI社区共筑高效推理新生态。

研发团队表示:「Tiny-R1-32B-Preview的成功是站在了巨人的肩膀上,受益于开源社区精神,结合DeepSeek-R1蒸馏、DeepSeek-R1-Distill-32B增量训练、模型融合等技术,使用360-LLaMA-Factory训练而来,未来我们也将持续探索更轻量、更强大的模型,推动AI技术普惠化进程,并回馈开源社区。」

360 团队: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Sai-er Hu, Xiangzheng Zhang

北大团队: Yuhan Wu, Zihan Jiang, Wenrui Liu, Junting Zhou, Bin Cui, Tong Yang

360联合北大震撼发布!5%参数量逼近Deepseek-R1满血性能

360联合北大震撼发布!5%参数量逼近Deepseek-R1满血性能

相关资讯

Search版o1:推理过程会主动查资料,整体性能优于人类专家,清华人大出品

一个新框架,让Qwen版o1成绩暴涨:在博士级别的科学问答、数学、代码能力的11项评测中,能力显著提升,拿下10个第一! 这就是人大、清华联手推出的最新「Agentic搜索增强推理模型框架」Search-o1的特别之处。 项目团队成员发现,o1和o1类模型在推理过程中表现突出,但却存在“知识不足”的明显缺陷——推理步骤太长/模型知识不足时,推理过程就很容易卡壳,导致推理链中的错误传递。

推理模型规划任务成功率从5%到95%,DeepMind遗传算法新研究火了

瞄准推理时扩展(Inference-time scaling),DeepMind新的进化搜索策略火了! 所提出的“Mind Evolution”(思维进化),能够优化大语言模型(LLMs)在规划和推理中的响应。 由于提升显著,Reddit/𝕏一时间出现了大量讨论:由于结合了遗传算法,使用Mind Evolution能让Gemini 1.5 Flash任务成功率从原本的5%左右,一下提升90个百分点。

为什么Qwen能自我改进推理,Llama却不行?斯坦福找到了原理

虽然 Qwen「天生」就会检查自己的答案并修正错误。 但找到原理之后,我们也能让 Llama 学会自我改进。 给到额外的计算资源和「思考」时间,为什么有的模型能好好利用,把性能提升一大截,而有的模型就不行?