蚂蚁集团发布两款创新 MoE 大模型,训练成本大幅降低

近日,蚂蚁集团的 Ling 团队在预印版 Arxiv 平台上发布了题为《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展3000亿参数混合专家 LING 大模型》的技术论文,介绍了他们研发的两款新型大语言模型:百灵轻量版(Ling-Lite)和百灵增强版(Ling-Plus)。 这两款模型在设计上采用了多项创新,能够在低性能硬件上高效训练,显著降低了成本。 百灵轻量版的参数规模为168亿,其中激活参数为27.5亿。

近日,蚂蚁集团的 Ling 团队在预印版 Arxiv 平台上发布了题为《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展3000亿参数混合专家 LING 大模型》的技术论文,介绍了他们研发的两款新型大语言模型:百灵轻量版(Ling-Lite)和百灵增强版(Ling-Plus)。这两款模型在设计上采用了多项创新,能够在低性能硬件上高效训练,显著降低了成本。

百灵轻量版的参数规模为168亿,其中激活参数为27.5亿。而增强版的基座模型则拥有高达2900亿的参数,激活参数为288亿。这两款模型的性能均达到行业领先水平,尤其是增强版,其3000亿参数的 MoE 模型在使用国产 GPU 的低性能设备上进行训练时,表现与高端英伟达芯片的模型相当。

加速器,提速,光

图源备注:图片由AI生成,图片授权服务商Midjourney

通常,MoE 模型的训练需要依赖昂贵的高性能 GPU,如英伟达的 H100和 H800,这不仅成本高昂,还受到芯片短缺的限制,从而影响了其在资源有限环境中的应用。为此,蚂蚁集团 Ling 团队提出了一个全新的目标 ——“不使用高级 GPU” 扩展模型,突破了资源和预算的限制。他们的创新训练策略包括动态参数分配、混合精度调度、以及升级的训练异常处理机制,这些策略有效地缩短了中断响应时间,并且优化了模型评估流程,压缩了验证周期超过50%。

在实验中,Ling 团队对9万亿个 token 进行了 Ling-Plus 的预训练。结果显示,使用高性能硬件配置训练1万亿 token 的成本约为635万元人民币,而采用蚂蚁的优化方法后,低规格硬件训练成本降至508万元左右,节省了近20%。同时,性能与阿里通义 Qwen2.5-72B-Instruct 和 DeepSeek-V2.5-1210-Chat 相当。

这一技术成果若能得到广泛应用,将为国产大模型提供更加经济高效的解决方案,减少对英伟达芯片的依赖,为未来的人工智能发展开辟新道路。

相关资讯

大模型效率狂飙:字节COMET技术开源,提速1.7倍

字节跳动旗下豆包大模型团队近日宣布,成功攻克混合专家模型(MoE)架构的关键瓶颈,并开源一项名为COMET的重大优化技术。 该技术显著提升了大模型的训练效率,实现了高达1.7倍的效率提升,并有效降低了40%的训练成本。 图源备注:图片由AI生成,图片授权服务商Midjourney据介绍,COMET技术已在字节跳动的万卡集群训练中得到实际应用,累计节省了数百万GPU小时的训练算力。

将多模态大模型稀疏化,3B模型MoE-LLaVA媲美LLaVA-1.5-7B

对于大型视觉语言模型(LVLM)而言,扩展模型可以有效提高模型性能。然而,扩大参数规模会显著增加训练和推理成本,因为计算中每个 token 都会激活所有模型参数。基于此,来自北京大学、中山大学等机构的研究者联合提出了一种新颖的 LVLM 训练策略 ——MoE-Tuning。MoE-Tuning 可以构建参数数量惊人但计算成本恒定的稀疏模型,并有效解决通常与多模态学习和模型稀疏性相关的性能下降问题。该研究还提出了一种基于 MoE 的新型稀疏 LVLM 架构 ——MoE-LLaVA 框架。该框架独特地在部署过程中通过路

豆包提出全新稀疏模型架构 UltraMem,推理成本较 MoE 最高可降 83%

实验结果表明,训练规模达 2000 万 value 的 UltraMem 模型,在同等计算资源下,可同时实现业界领先的推理速度和模型性能,为构建数十亿规模 value 或 expert 开辟了新路径。