元象 XVERSE

国内最大MoE开源大模型来了,还基于此搞出个火遍港台的AI聊天应用

元象 XVERSE 发布中国最大 MoE 开源模型:XVERSE-MoE-A36B,加速 AI 应用低成本部署,将国产开源提升至国际领先水平。该模型总参数 255B,激活参数 36B,达到 100B 模型性能的「跨级」跃升,同时训练时间减少 30%,推理性能提升 100%,使每 token 成本大幅下降。元象「高性能全家桶」系列全部开源,无条件免费商用,让海量中小企业、研究者和开发者能按需选择。MoE(Mixture of Experts)是业界最前沿的混合专家模型架构 ,将多个细分领域的专家模型组合成一个超级模型

元象XVERSE-65B:国内最大开源模型来了,高性能无条件免费商用

国内此前开源了多个 70 到 130 亿参 数大模型,落地成果涌现,开源生态系统初步建立。随着智能体等任务复杂性与数据量的提升,业界与社区对更「大」模型的需求愈发迫切。研究表明,参数量越高,高质量训练数据越多,大模型性能才能不断提升。而业界普遍共识是达到 500 到 600 亿参数门槛,大模型才能「智能涌现」,在多任务中展现强大性能。但训练此量级模型成本高昂,技术要求较高,目前主要为闭源付费提供。在国外开源生态中,Llama2-70B 和 Falcon-180B 等标杆模型为有条件开源,设置了月活跃用户数或收入等商
  • 1