AI在线 AI在线

混合专家模型(MoE)

蚂蚁集团发布两款创新 MoE 大模型，训练成本大幅降低

蚂蚁集团发布两款创新 MoE 大模型，训练成本大幅降低
近日，蚂蚁集团的 Ling 团队在预印版 Arxiv 平台上发布了题为《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展3000亿参数混合专家 LING 大模型》的技术论文，介绍了他们研发的两款新型大语言模型:百灵轻量版（Ling-Lite）和百灵增强版(Ling-Plus)。 这两款模型在设计上采用了多项创新，能够在低性能硬件上高效训练，显著降低了成本。 百灵轻量版的参数规模为168亿，其中激活参数为27.5亿。
3/24/2025 3:28:00 PM
AI在线
大模型效率狂飙：字节COMET技术开源，提速1.7倍

大模型效率狂飙：字节COMET技术开源，提速1.7倍
字节跳动旗下豆包大模型团队近日宣布，成功攻克混合专家模型（MoE）架构的关键瓶颈，并开源一项名为COMET的重大优化技术。 该技术显著提升了大模型的训练效率，实现了高达1.7倍的效率提升，并有效降低了40%的训练成本。 图源备注:图片由AI生成，图片授权服务商Midjourney据介绍，COMET技术已在字节跳动的万卡集群训练中得到实际应用，累计节省了数百万GPU小时的训练算力。
3/10/2025 5:59:00 PM
AI在线
  • 1