最强端侧开源 AI 模型 Zamba2-mini 登场:12 亿参数,4bit 量化下内存占用小于 700MB

Zyphra 于 8 月 27 日发布博文,宣布推出 Zamba2-mini 1.2B 模型,共有 12 亿参数,声称是端侧 SOTA 小语言模型,在 4bit 量化下内存占用低于 700MB。AI在线注:SOTA 全称为 state-of-the-art,并不是特指某个具体的模型,而是指在该项研究任务中,目前最好 / 最先进的模型。Zamba2-mini 1.2B 虽然尺寸不大,但媲美包括谷歌 Gemma-2B、Huggingface 的 SmolLM-1.7B、苹果的 OpenELM-1.1B 和微软的 Phi

Zyphra 于 8 月 27 日发布博文,宣布推出 Zamba2-mini 1.2B 模型,共有 12 亿参数,声称是端侧 SOTA 小语言模型,在 4bit 量化下内存占用低于 700MB。

AI在线注:SOTA 全称为 state-of-the-art,并不是特指某个具体的模型,而是指在该项研究任务中,目前最好 / 最先进的模型。

最强端侧开源 AI 模型 Zamba2-mini 登场:12 亿参数,4bit 量化下内存占用小于 700MB

Zamba2-mini 1.2B 虽然尺寸不大,但媲美包括谷歌 Gemma-2B、Huggingface 的 SmolLM-1.7B、苹果的 OpenELM-1.1B 和微软的 Phi-1.5 等更大模型。

在推理任务中,Zamba2-mini 的卓越性能尤为显著,与 Phi3-3.8B 等模型相比,Zamba2-mini 的首次令牌时间(从输入到输出第一个 token 的延迟)是此前的二分之一,内存占用减少了 27%。

Zamba2-mini 1.2B 主要通过高度优化的架构实现,融合了不同神经网络设计的优势,既能保持大型密集变压器的高质量输出,又能以更小模型的计算和内存效率运行。

最强端侧开源 AI 模型 Zamba2-mini 登场:12 亿参数,4bit 量化下内存占用小于 700MB

与前代 Zamba1 相比,Zamba2-mini 的关键进步之一是集成了两个共享注意力层(attention layers)。

这种双层方法增强了模型在不同深度保持信息的能力,从而提高了整体性能。在共享注意力层中加入旋转位置嵌入也略微提高了性能,这表明 Zyphra 致力于在模型设计中进行渐进而有影响力的改进。

Zamba2-mini 是在一个包含三万亿个 token 的海量数据集上进行预训练的,该数据集来自 Zyda 和其他公开来源。

最强端侧开源 AI 模型 Zamba2-mini 登场:12 亿参数,4bit 量化下内存占用小于 700MB

这个庞大的数据集经过了严格的过滤和重复处理,以确保获得最高质量的训练数据,并在退火(annealing)阶段对其进一步完善,其中包括在 1000 亿个质量极高的 tokens 上进行训练。

Zyphra 已承诺使 Zamba2-mini 成为 Apache 2.0 许可下的开源模型。

AI在线附上参考地址

Zyphra Unveils Zamba2-mini: A State-of-the-Art Small Language Model Redefining On-Device AI with Unmatched Efficiency and Performance

Model Card for Zamba2-1.2B

Zamba2-mini (1.2B)

给TA打赏
共{{data.count}}人
人已打赏
应用

4篇论文入选数据库顶会,腾讯云突破数据库性能瓶颈

2024-8-29 15:11:00

应用

我有一个「赛博爱人」,拥有超长记忆,还能给足情绪价值

2024-8-29 18:19:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索