DeepSeek开源周第3天:发布DeepGEMM,FP8 GEMM库助力AI训练与推理

中国人工智能公司DeepSeek在其“开源周”第3天宣布推出DeepGEMM——一款支持FP8通用矩阵乘法(GEMM)的开源库。 这一工具专为密集型和混合专家(MoE)矩阵运算设计,为DeepSeek V3和R1模型的训练与推理提供强大支持。 官方消息通过X平台发布,迅速引发技术社区的热烈反响。

中国人工智能公司DeepSeek在其“开源周”第3天宣布推出DeepGEMM——一款支持FP8通用矩阵乘法(GEMM)的开源库。这一工具专为密集型和混合专家(MoE)矩阵运算设计,为DeepSeek V3和R1模型的训练与推理提供强大支持。官方消息通过X平台发布,迅速引发技术社区的热烈反响。

image.png

据DeepSeek官方账号发布的帖子,DeepGEMM在NVIDIA Hopper GPU上可实现高达1350+ TFLOPS的FP8计算性能。其核心逻辑仅约300行代码,却能在大多数矩阵尺寸上超越专家调优的内核,展现了极高的效率和简洁性。该库无需复杂依赖,采用即时编译(Just-In-Time)技术,支持密集布局和两种MoE布局,设计上“像教程一样干净”,便于开发者学习和使用。

X用户@TechBitDaily评论称:“DeepGEMM的发布是DeepSeek开源周的一大亮点,其FP8性能和简洁设计令人印象深刻。”另一位用户@AIObserverCN指出,该库在支持MoE模型的高效训练方面具有显著优势,可能推动AI社区在Hopper架构上的进一步创新。

作为开源周的一部分,DeepGEMM的发布延续了DeepSeek推动AI技术透明化和社区协作的承诺。此前,该公司已在首两天发布了FlashMLA和DeepEP工具,分别聚焦于快速语言模型架构和专家并行通信。此次DeepGEMM的亮相,进一步展示了其在AI基础设施建设上的技术实力。业内人士认为,这款库不仅将提升DeepSeek自家模型的性能,也为全球开发者提供了一个高效、易用的矩阵运算工具,未来应用前景可期。用户现可通过GitHub获取DeepGEMM,探索其在AI训练与推理中的潜力。

项目地址:https://github.com/deepseek-ai/DeepGEMM

相关资讯

DeepSeek开源通用矩阵乘法库,300行代码加速V3、R1,R2被曝五月前问世

适用于常规 AI 模型和 MoE。 DeepSeek 的开源周已经进行到了第三天(前两天报道见文末「相关阅读」)。 今天开源的项目名叫 DeepGEMM,是一款支持密集型和专家混合(MoE)GEMM 的 FP8 GEMM 库,为 V3/R1 的训练和推理提供了支持,在 Hopper GPU 上可以达到 1350 FP8 TFLOPS 的计算性能。

疯了!居然有人试图让我搞懂,什么是 DeepGEMM

DeepSeek开源周,继DeepEP之后,开源了第三弹DeepGEMM。 今天简单来说说:吃瓜:DeepGMEE是干嘛的? 技术:DeepGMEE是怎么做到的?

10行代码搞定图Transformer,图神经网络框架DGL迎来1.0版本

2019 年,纽约大学、亚马逊云科技联手推出图神经网络框架 DGL (Deep Graph Library)。如今 DGL 1.0 正式发布!