AI在线 AI在线

专家

元象首个MoE大模型开源：4.2B激活参数，效果堪比13B模型

元象首个MoE大模型开源：4.2B激活参数，效果堪比13B模型
元象发布XVERSE-MoE-A4.2B大模型 ， 采用业界最前沿的混合专家模型架构 （Mixture of Experts），激活参数4.2B，效果即可媲美13B模型。该模型全开源，无条件免费商用，让海量中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用，推动低成本部署。GPT3、Llama与XVERSE等主流大模型发展遵循规模理论（Scaling Law）， 在模型训练和推理的过程中，单次前向、反向计算时，所有参数都被激活，这被称为稠密激活 （densely activated）。 当 模型规模增大时，
4/2/2024 10:24:00 AM
新闻助手
手把手教你，从零开始实现一个稀疏混合专家架构语言模型（MoE）

手把手教你，从零开始实现一个稀疏混合专家架构语言模型（MoE）
本文介绍了实现一个稀疏混合专家语言模型（MoE）的方法，详细解释了模型的实施过程，包括采用稀疏混合专家取代传统的前馈神经网络，实现 top-k 门控和带噪声的 top-k 门控，以及采用 Kaiming He 初始化技术。作者还说明了从 makemore 架构保持不变的元素，比如数据集处理、分词预处理和语言建模任务。最后还提供了一个 GitHub 仓库链接，用于实现模型的整个过程，是一本不可多得的实战教科书。内容简介在混合专家模型 Mixtral 发布后，混合专家模型（MoE）越来越受到人们的关注。在稀疏化的混合专
2/16/2024 4:32:00 PM
机器之心
  • 1