6.5

MiniMax 稀宇科技发布万亿参数 MoE 模型 abab 6.5,核心能力接近 GPT-4

国内 AI 初创企业 MiniMax 稀宇科技今日正式推出 MoE 混合专家模型架构的 abab 6.5 系列模型,核心能力开始接近 GPT-4、 Claude-3、 Gemini-1.5。abab 6.5 系列包含两个模型:abab 6.5:包含万亿参数,支持 200k tokens 的上下文长度;abab 6.5s:与 abab 6.5 使用了同样的训练技术和数据,但是更高效,支持 200k tokens 的上下文长度,可以 1 秒内处理近 3 万字的文本。自一月发布国内首个基于 MoE 架构的 abab 6
  • 1