混合专家
别TM浪费算力了，这样才能最大限度发挥deepseek的潜能 - MOE
最近几周自学deepseek原理 应用 实践，一些成果，和大家分享：小众关心的，deepseek核心技术原理；大众关心的，提示词要怎么写；今天和大家聊聊，deepseek的核心机制之一的混合专家MOE。 什么是混合专家MOE？ 混合专家，Miture of Experts，该模型思路不再追求大而全，转而追求多而专精。
混合专家更有主见了，能感知多模态分情况行事，Meta提出模态感知型专家混合
混合专家，也得术业有专攻。对于目前的混合模态基础模型，常用的架构设计是融合特定模态的编码器或解码器，但这种方法存在局限：无法整合不同模态的信息，也难以输出包含多种模态的内容。为了克服这一局限，Meta FAIR 的 Chameleon 团队在近期的论文《Chameleon: Mixed-modal early-fusion foundation models》中提出了一种新的单一 Transformer 架构，它可以根据下一个 token 的预测目标，对由离散图像和文本 token 组成的混合模态序列进行建模，从而
- 1