MoE - AI在线

DeepSeek-R2曝5月前上线！第三弹DeepGEMM 300行代码暴击专家优化内核

第三天，DeepSeek发布了DeepGEMM。这是一个支持稠密和MoE模型的FP8 GEMM（通用矩阵乘法）计算库，可为V3/R1的训练和推理提供强大支持。仅用300行代码，DeepGEMM开源库就能超越专家精心调优的矩阵计算内核，为AI训练和推理带来史诗级的性能提升！

DeepSeek开源周第二日：首个面向MoE模型的开源EP通信库

Deepseek 公布了开源周第二天的产品，首个面向MoE模型的开源EP通信库，支持实现了混合专家模型训练推理的全栈优化。 DeepEP 是一个专为混合专家（MoE）和专家并行(EP)设计的高效通信库。它致力于提供高吞吐量和低延迟的多对多 GPU 内核，通常被称为 MoE 调度和组合。

DeepSeek671B提到的MOE是什么？图解MOE（混合专家模型）

本文仅做记录，图挺形象的。原文：，你可能会在标题中看到“MoE”这个词。那么，这个“MoE”到底代表什么？

超详细，DeepSeep 接入PyCharm实现AI编程！（支持本地部署DeepSeek及官方DeepSeek接入），建议收藏！

在当今数字化时代，AI编程助手已成为提升开发效率的利器。 DeepSeek作为一款强大的AI模型，凭借其出色的性能和开源免费的优势，成为许多开发者的首选。今天，就让我们一起探索如何将DeepSeek接入PyCharm，实现高效、智能的AI编程。

字节跳动豆包UltraMem架构将大模型推理成本降低83%

字节跳动豆包大模型团队今日宣布，成功研发出全新稀疏模型架构UltraMem，该架构有效解决了MoE（混合专家）模型推理时的高额访存问题，推理速度较MoE提升2-6倍，推理成本最高可降低83%。这一突破性进展为大模型的高效推理开辟了新路径。 UltraMem架构在保证模型效果的前提下，成功解决了MoE架构推理时的访存瓶颈。

豆包提出全新稀疏模型架构 UltraMem，推理成本较 MoE 最高可降 83%

实验结果表明，训练规模达 2000 万 value 的 UltraMem 模型，在同等计算资源下，可同时实现业界领先的推理速度和模型性能，为构建数十亿规模 value 或 expert 开辟了新路径。

别TM浪费算力了，这样才能最大限度发挥deepseek的潜能 - MOE

最近几周自学deepseek原理应用实践，一些成果，和大家分享：小众关心的，deepseek核心技术原理；大众关心的，提示词要怎么写；今天和大家聊聊，deepseek的核心机制之一的混合专家MOE。什么是混合专家MOE？混合专家，Miture of Experts，该模型思路不再追求大而全，转而追求多而专精。

全球首次：时序大模型突破十亿参数，华人团队 Time-MoE 预训练数据达 3000 亿个时间点

Time-MoE 采用了创新的混合专家架构，能以较低的计算成本实现高精度预测。研发团队还发布了 Time-300B 数据集，为时序分析提供了丰富的训练资源，为各行各业的时间序列预测任务带来了新的解决方案。在当今以数据为驱动的时代，时序预测已成为众多领域不可或缺的核心组成。

元象发布中国最大 MoE 开源大模型：总参数 255B，激活参数 36B

元象 XVERSE 发布中国最大 MoE 开源模型 XVERSE-MoE-A36B。该模型总参数 255B，激活参数 36B，官方号称效果能“大致达到”超过 100B 大模型的“跨级”性能跃升，同时训练时间减少 30%，推理性能提升 100%，使每 token 成本大幅下降。MoE（Mixture of Experts）混合专家模型架构，将多个细分领域的专家模型组合成一个超级模型，在扩大模型规模的同时，保持模型性能最大化，甚至还能降低训练和推理的计算成本。谷歌 Gemini-1.5、OpenAI 的 GPT-4 、

微软发布 Phi-3.5 系列 AI 模型：上下文窗口 128K，首次引入混合专家模型

微软公司今天发布了 Phi-3.5 系列 AI 模型，其中最值得关注的是推出了该系列首个混合专家模型（MoE）版本 Phi-3.5-MoE。本次发布的 Phi-3.5 系列包括 Phi-3.5-MoE、Phi-3.5-vision 和 Phi-3.5-mini 三款轻量级 AI 模型，基于合成数据和经过过滤的公开网站构建，上下文窗口为 128K，所有模型现在都可以在 Hugging Face 上以 MIT 许可的方式获取。AI在线附上相关介绍如下：Phi-3.5-MoE：首个混合专家模型Phi-3.5-MoE 是

“全球首创”单台 RTX 4090 服务器推理，昆仑万维开源 2 千亿稀疏大模型天工 MoE

昆仑万维今日宣布开源 2 千亿稀疏大模型 Skywork-MoE，基于之前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来，号称是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE 大模型，也是首个支持用单台 RTX 4090 服务器（8 张 RTX 4090 显卡）推理的开源千亿 MoE 大模型。据介绍，本次开源的 Skywork-MoE 模型隶属于天工 3.0 的研发模型系列，是其中的中档大小模型（Skywork-MoE-Medium），模型的总参数量为 1

MoE 高效训练的 A/B 面：与魔鬼做交易，用「显存」换「性能」

MoE 会成为未来大模型训练的新方向吗？这是人们发现 MoE 架构可以用于大模型训练、推理后，发出的一声疑问。 MoE（Mixture of Experts），又称「混合专家」，本质是一种模块化的稀疏激活。

元象首个MoE大模型开源：4.2B激活参数，效果堪比13B模型

元象发布XVERSE-MoE-A4.2B大模型，采用业界最前沿的混合专家模型架构（Mixture of Experts），激活参数4.2B，效果即可媲美13B模型。该模型全开源，无条件免费商用，让海量中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用，推动低成本部署。GPT3、Llama与XVERSE等主流大模型发展遵循规模理论（Scaling Law），在模型训练和推理的过程中，单次前向、反向计算时，所有参数都被激活，这被称为稠密激活（densely activated）。当模型规模增大时，

「天工2.0」MoE大模型发布——「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世

北京时间2月6日，昆仑万维正式发布新版MoE大语言模型「天工2.0」与新版「天工AI智能助手」APP，这是国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。用户即日起可在各手机应用市场下载「天工AI智能助手」APP，体验昆仑万维「天工2.0」MoE大模型的卓越性能。「天工2.0」是昆仑万维自去年4月发布双千亿级大语言模型「天工」以来的最大规模版本升级，其采用业内顶尖的MoE专家混合模型架构，应对复杂任务能力更强、模型响应速度更快、训练及推理效率更高、可扩展性更强。此次更新全面升级了AI

被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署

本文将介绍 MoE 的构建模块、训练方法以及在使用它们进行推理时需要考虑的权衡因素。专家混合 (MoE) 是 LLM 中常用的一种技术，旨在提高其效率和准确性。这种方法的工作原理是将复杂的任务划分为更小、更易于管理的子任务，每个子任务都由专门的迷你模型或「专家」处理。早些时候，有人爆料 GPT-4 是采用了由 8 个专家模型组成的集成系统。近日，Mistral AI 发布的 Mixtral 8x7B 同样采用这种架构，实现了非常不错的性能（传送门：一条磁力链接席卷 AI 圈，87GB 种子直接开源 8x7B MoE