2025 年 4 月,Meta 正式发布了 LLaMA 4 系列的首批两款模型。
这两款模型模型分别是:LLaMA 4 Scout 与 LLaMA 4 Maverick,均采用了 专家混合架构(Mixture-of-Experts, MoE)。
据 Meta 表示,这是首次有 LLaMA 模型实现 文字与图像的统一处理能力,具备真正意义上的多模态理解。
据悉,在训练过程中,系统最多可同时处理 48 张图像;而在后续评估中,模型在处理多达 8 张图像的输入时,亦展现出稳定而强劲的视觉理解性能。
图片
LLaMA 4 系列:有哪些新突破?
Meta 于本次 LLaMA 4 发布中亮相了两款全新模型:
1. LLaMA 4 Scout
这是一款轻量却不失强劲性能的模型,专为在单张 NVIDIA H100 GPU 上高效运行而优化,尤为适合科研人员与中小型企业应用。
- 拥有 1000 万词元(token)的超长上下文窗口,远远领先于多数现有开源大语言模型。
- 在推理、摘要生成与指令遵循等标准评测中,全面超越 Google 的 Gemma 3 与 Mistral 3.1。
2.LLaMA 4 Maverick
这款大型模型则剑指当前语言模型的重量级选手,如 GPT-4o、Claude 3.5 与 DeepSeek-V3。
- 精于代码生成、多跳推理与高级搜索任务。
- 采用 专家混合机制(Mixture-of-Experts, MoE),仅激活部分参数进行计算,在保持卓越表现的同时显著提升效率。
架构与创新亮点
两款模型皆构建于全新的 Transformer 2.0 架构之上,并在多个关键维度进行了深度优化:
- 专家混合机制(MoE):每次前向传播仅激活部分模型参数,有效降低计算开销,同时不牺牲性能。
- 词元流式处理与预测解码(Speculative Decoding):显著提升推理速度。
- 超长上下文窗口(Scout 模型支持高达 1000 万词元):可处理超大文档或多轮对话,效率倍增。
- 多语言支持全面升级:在阿拉伯语、乌尔都语、西班牙语与中文等语言上的表现有了飞跃性提升。
图片
Scout 在轻量级模型领域中一骑绝尘,而 Maverick 则在与 GPT-4o 和 Claude 等顶尖模型的竞争中依然锋芒不减。
走向现实:LLaMA 4 的真实应用场景
Meta 推出的 LLaMA 4 不仅是科研成果的展示,更已广泛融入旗下多个核心产品:
- WhatsApp:用于客户支持和智能回复
- Messenger:实现 AI 内容摘要和上下文感知的消息交互
- Instagram:应用于标题推荐、评论过滤与智能搜索
- Meta.ai(网页版):面向公众开放的 AI 聊天助手,功能类似 ChatGPT 或 Claude.ai
开源”的边界:开放,还是有限开放?
尽管 Meta 将 LLaMA 4 宣传为“开源模型”,其使用许可仍存在一定限制:
- 月活跃用户超过 7 亿的企业 无权使用该模型
- 开源倡议组织(OSI) 批评其为“半开源”,因其限制了商业化的自由扩展
- 不过,学术界和独立研究者 仍可访问,意味着 AI 发展的透明度正朝积极方向迈进
下一站:LLaMA 4 Behemoth 即将登场
Meta 的发展蓝图中,还包括一款更具突破性的全新模型 —— LLaMA 4 Behemoth(巨兽)。
亮点一览:
- 采用 专家混合架构(Mixture-of-Experts),在每次推理中仅启用部分模型参数
- 总参数规模高达 2 万亿,每次推理激活参数约 2880 亿
- 聚焦科学、数学、多语言推理与代码生成等高复杂度任务
- 有望在 STEM 领域的基准测试中超越 GPT-4.5 与 Claude Sonnet 3.7
- 预计将在 2025 年 4 月 29 日的 LLaMACon(Meta 首届开源 AI 大会)上正式发布
背后的雄心:打造 AI 基础设施层
Meta 对人工智能的投入愈发激进,未来两年预计投资将高达 650 亿美元。
这不仅是对市场的回应,更体现出其打造“互联网 AI 基础设施层”的宏伟愿景。
LLaMA 4 的推出,标志着 Meta 不只是要与 OpenAI 和 Google 分庭抗礼,更要在开源领域取得主导地位。
LLaMA 4 系列的发布,堪称开源 AI 生态的一次重大飞跃。
凭借其在效率、规模与可用性上的平衡,Meta 正在赋能全球开发者、初创企业与研究人员。
尽管许可政策仍有争议,但 Scout 与 Maverick 的技术实力已赢得广泛认可。
随着 LLaMA 4 Behemoth 的临近发布,以及 4 月 29 日 LLaMACon 的召开,
2025 正逐步成为“超级开源模型元年”,而 Meta,显然已成为这场变革的领跑者。
via https://ai.plainenglish.io/metas-llama-4-series-10-million-context-length-is-here-pushing-the-frontier-of-open-source-ai-744c637084ae