AI在线 AI在线

带宽

DeepSeek开源周第二日：首个面向MoE模型的开源EP通信库

DeepSeek开源周第二日：首个面向MoE模型的开源EP通信库
Deepseek 公布了开源周第二天的产品，首个面向MoE模型的开源EP通信库，支持实现了混合专家模型训练推理的全栈优化。 DeepEP 是一个专为混合专家（MoE）和专家并行(EP)设计的高效通信库。 它致力于提供高吞吐量和低延迟的多对多 GPU 内核，通常被称为 MoE 调度和组合。
2/25/2025 11:02:00 AM
AI在线
Meta 发布新一代 AI 训练与推理芯片，性能为初代芯片三倍

Meta 发布新一代 AI 训练与推理芯片，性能为初代芯片三倍
Meta Platforms 当地时间 10 日发布了其训练与推理加速器项目（MTIA）的最新版本，MTIA 是 Meta 专门为 AI 工作负载设计的定制芯片系列。据介绍，此次发布的新一代 MTIA 与第一代 MTIA 相比，显著改进了性能，并有助于强化内容排名和推荐广告模型。其架构从根本上侧重于提供计算、内存带宽和内存容量的适当平衡。该芯片还可帮助提高训练效率，使推理（即实际推理任务）变得更容易。Meta 在其官方博客文章中表示，“实现我们对定制芯片的雄心壮志，意味着我们不仅要投资于计算芯片，还要投资于内存带宽
4/10/2024 11:30:30 PM
清源
用什么tricks能让模型训练得更快？先了解下这个问题的第一性原理

用什么tricks能让模型训练得更快？先了解下这个问题的第一性原理
深度学习是门玄学？也不完全是。
3/22/2022 2:26:00 PM
机器之心
  • 1