AI在线 AI在线

Scaling Prediction

被低估的面壁：打造出不输 OpenAI 的 Scaling Law 曲线

被低估的面壁：打造出不输 OpenAI 的 Scaling Law 曲线
大约 1 个月前，马斯克所创办的 xAI 团队宣布开源 Grok-1——一个参数量为 3140 亿的 MoE 大模型。 从参数量来看，Grok-1 超越了 70B 的 LLaMA 2，是当前开源模型中最大的一个，被调侃为「庞然大物」。 然而，有研究人员测试却发现，参数规模量如此巨大的 Grok-1 ，效果竟然只与 Mistral AI 的 8x7B MoE 模型相当。
4/16/2024 2:28:00 PM
王悦
  • 1