字节跳动豆包UltraMem架构将大模型推理成本降低83%

字节跳动豆包大模型团队今日宣布,成功研发出全新稀疏模型架构UltraMem,该架构有效解决了MoE(混合专家)模型推理时的高额访存问题,推理速度较MoE提升2-6倍,推理成本最高可降低83%。 这一突破性进展为大模型的高效推理开辟了新路径。 UltraMem架构在保证模型效果的前提下,成功解决了MoE架构推理时的访存瓶颈。

字节跳动豆包大模型团队今日宣布,成功研发出全新稀疏模型架构UltraMem,该架构有效解决了MoE(混合专家)模型推理时的高额访存问题,推理速度较MoE提升2-6倍,推理成本最高可降低83%。这一突破性进展为大模型的高效推理开辟了新路径。

字节跳动抖音豆包大模型

UltraMem架构在保证模型效果的前提下,成功解决了MoE架构推理时的访存瓶颈。实验结果表明,在参数和激活条件相同的情况下,UltraMem不仅模型效果优于MoE,更将推理速度提升了2-6倍。此外,在常见batch size规模下,UltraMem的访存成本几乎与同计算量的Dense模型相当,显著降低了推理成本。

QQ20250212-140416.png

研究团队训练了规模达2000万value的UltraMem模型,实验结果显示,在同等计算资源下,该模型同时实现了业界领先的推理速度和模型性能。这一成果验证了UltraMem架构的优异Scaling特性,为构建数十亿规模value或expert模型奠定了技术基础。

随着大模型规模不断扩大,推理成本和速度成为制约其应用的关键因素。尽管MoE架构已实现计算与参数解耦,但其推理时的高访存需求导致延迟增加。UltraMem架构的提出,有效解决了这一难题,为大模型的规模化应用提供了新的技术选择。

相关资讯

将多模态大模型稀疏化,3B模型MoE-LLaVA媲美LLaVA-1.5-7B

对于大型视觉语言模型(LVLM)而言,扩展模型可以有效提高模型性能。然而,扩大参数规模会显著增加训练和推理成本,因为计算中每个 token 都会激活所有模型参数。基于此,来自北京大学、中山大学等机构的研究者联合提出了一种新颖的 LVLM 训练策略 ——MoE-Tuning。MoE-Tuning 可以构建参数数量惊人但计算成本恒定的稀疏模型,并有效解决通常与多模态学习和模型稀疏性相关的性能下降问题。该研究还提出了一种基于 MoE 的新型稀疏 LVLM 架构 ——MoE-LLaVA 框架。该框架独特地在部署过程中通过路

豆包提出全新稀疏模型架构 UltraMem,推理成本较 MoE 最高可降 83%

实验结果表明,训练规模达 2000 万 value 的 UltraMem 模型,在同等计算资源下,可同时实现业界领先的推理速度和模型性能,为构建数十亿规模 value 或 expert 开辟了新路径。

DeepSeek开源周第二日:首个面向MoE模型的开源EP通信库

Deepseek 公布了开源周第二天的产品,首个面向MoE模型的开源EP通信库,支持实现了混合专家模型训练推理的全栈优化。 DeepEP 是一个专为混合专家(MoE)和专家并行(EP)设计的高效通信库。 它致力于提供高吞吐量和低延迟的多对多 GPU 内核,通常被称为 MoE 调度和组合。