AI在线 AI在线

字节跳动豆包大模型团队开源MoE架构优化技术,训练成本节省40%

作者:远洋
2025-03-10 05:42
字节跳动豆包大模型团队官宣开源一项针对 MoE(混合专家模型)架构的关键优化技术,可将大模型训练效率提升 1.7 倍,成本节省 40%。据悉,该技术叫做 COMET,已实际应用于字节的万卡集群训练,累计帮助节省了数百万 GPU 小时训练算力。
感谢字节跳动豆包大模型团队官宣开源一项针对 MoE(混合专家模型)架构的关键优化技术,可将大模型训练效率提升 1.7 倍,成本节省 40%。据悉,该技术叫做 COMET,已实际应用于字节的万卡集群训练,累计帮助节省了数百万 GPU 小时训练算力。

AI在线注意到,早前豆包团队发布了新一代稀疏架构 UltraMem,将模型推理成本砍掉 83%,此次,又开源了 COMET,向模型训练成本出手。

目前,COMET 核心代码已开源,并计划兼容 Triton 等编译生态。

论文链接:https://arxiv.org/pdf/2502.19811

开源地址:https://github.com/bytedance/flux

相关标签:

相关资讯

DeepSeek 反思潮:AGI 既被重新审视,又被持续低估

2 月很有意思。 一、DeepSeek 反思潮在 DeepSeek 的集体反思潮中,无论是大厂内部的“AGI 创业团队”、还是 AGI 的明星创业公司,都进行了战略调整。 很显然,DeepSeek 的暴击让整个行业都进行了一次深刻的反思,值得注意的几个变化是:首先,大模型创业公司重新将技术突破提升到一个新的高度、超越产品更新成为公司战略发展的优先级。
2/28/2025 11:45:00 PM
陈彩娴

字节跳动豆包新版深度思考开启测试,支持边想边搜

据介绍,和之前的深度思考不同,新版功能将推理过程的思维链与搜索深度结合,支持边想边搜。思考过程中,豆包可基于推理多次调用工具、搜索信息,提供更加全面、准确的结果。
3/28/2025 9:30:23 AM
浩渺

字节跳动发布豆包 1.5 深度思考模型,同时升级文生图模型

字节跳动发布豆包1.5深度思考模型,采用MoE架构,总参数200B,激活参数20B,推理成本低于业界50%。新模型在数学、编程、科学推理及创意写作等任务中表现突出,还能结合视觉理解技术提供更多功能。#AI大模型##字节跳动#
4/17/2025 10:50:40 AM
远洋