AI在线 AI在线

360智脑发布Tiny-R1-32B:5%参数逼近Deepseek-R1满血性能

作者:AI在线
2025-02-26 08:01
2月24日,360智脑团队与北京大学联合研发的中等量级推理模型 Tiny-R1-32B-Preview 正式发布。 这一模型仅以5%的参数量,成功逼近了 Deepseek-R1-671B 的满血性能,展现了小模型在高效推理领域的巨大潜力。 该模型在多个关键领域的表现尤为突出。

2月24日,360智脑团队与北京大学联合研发的中等量级推理模型 Tiny-R1-32B-Preview 正式发布。这一模型仅以5%的参数量,成功逼近了 Deepseek-R1-671B 的满血性能,展现了小模型在高效推理领域的巨大潜力。

该模型在多个关键领域的表现尤为突出。在数学领域,Tiny-R1-32B-Preview 在 AIME2024评测中取得了78.1分的成绩,与原版 R1模型的79.8分相当接近,远超 Deepseek-R1-Distill-Llama-70B 的70.0分。在编程和科学领域,该模型分别在 LiveCodeBench 和 GPQA-Diamond 测试中取得了61.6分和65.0分的成绩,全面领先于当前最佳开源70B模型 Deepseek-R1-Distill-Llama-70B。这一成果不仅证明了 Tiny-R1-32B-Preview 在性能上的卓越表现,还通过仅需5%的参数量大幅降低了推理成本,实现了效率的跃迁。

微信截图_20250226080042.png

这一突破背后的核心技术是“分治-融合”策略。研究团队基于 DeepSeek-R1生成海量领域数据,分别训练了数学、编程、科学三大垂直领域的模型。随后,通过 Arcee 团队的 Mergekit 工具进行智能融合,突破了单一模型的性能上限,实现了多任务的均衡优化。这种创新的技术路径不仅提升了模型的性能,也为未来推理模型的发展提供了新的思路。

360智脑团队和北京大学的联合研发团队表示,Tiny-R1-32B-Preview 的成功离不开开源社区的支持。该模型受益于 DeepSeek-R1蒸馏、DeepSeek-R1-Distill-32B 增量训练以及模型融合等技术。

为了推动技术普惠,研发团队承诺将公开完整的模型仓库,包括技术报告、训练代码及部分数据集。模型仓库已上线至 Hugging Face 平台,地址为 https://huggingface.co/qihoo360/TinyR1-32B-Preview。

相关资讯

TPAMI 2025 | 国防科大提出RGBT-Tiny数据集与SAFit指标,推动小目标检测技术发展

项目地址::、自动驾驶、夜间搜救等场景中,小目标检测(如远处行人、微型无人机)一直是技术难点——目标尺寸小、背景干扰多、光照条件复杂。 现有数据集多聚焦单一模态(可见光或红外成像),且目标尺寸偏大、场景单一,难以满足实际需求,针对可见光-红外双模态(Visible-Thermal, RGBT)小目标检测的研究却鲜有突破。 为了填补这一空白,国防科技大学团队最新发布RGBT-Tiny基准数据集和SAFit评价指标,填补领域空白,为RGBT小目标检测提供了一个全新的基准和评估工具。
4/1/2025 2:43:00 PM
新闻助手

调查:超72% 的企业选择 AI 工具时最看重易用性

根据最近的一项 CIO 报告,企业在人工智能(AI)领域的投资高达2.5亿美元,尽管在证明投资回报率(ROI)方面面临挑战。 商业领袖们正努力提高生产力,但新技术的集成往往需要重构现有应用、更新流程并激励员工学习,以适应现代商业环境。 QuickBlox 首席执行官 Nate MacLeitch 对136位高管进行了调查,以揭示 AI 采用的现实情况,探讨领导者的首要任务、主要担忧以及他们在2025年寻找可信工具的信息来源。
3/18/2025 10:02:00 AM
AI在线

可保护作品免遭 AI 训练,Adobe 推出 Content Authenticity 应用

Adobe 推出全新应用 Content Authenticity,用于保护创意工作者的作品署名权,即使有人截屏并在网络二次传播也不受影响。这款网页应用于今日面向公众开放测试,用户上传需要保护的图像,应用就能嵌入隐形元数据和添加“禁止 AI 训练”标签,帮助确认作品归属和保护作品免遭 AI 训练。
4/24/2025 9:32:18 PM
准泽(实习)
  • 1