90/270 亿参数,google宣布 Gemma 2 开源 AI 模型:机能力压同级、单 A100 / H100 GPU 可运行

感谢google公司昨日宣布新闻稿,面向全球研究人员和开发人员宣布 Gemma 2 大谈话模型,共有 90 亿参数(9B)和 270 亿参数(27B)两种大小。Gemma 2 大谈话模型相比较第一代,推理机能更高、效劳更高,并在安全性方面取得了重大进步。google在新闻稿中表示,Gemma 2-27B 模型的机能媲美两倍范围的主流模型,而且只需要一片英伟达 H100 ensor Core GPU 或 TPU 主机就能兑现这种机能,从而大大降低了安排成本。Gemma 2-9B 模型优于 Llama 3 8B 和其他类似范围的开源模

感谢google公司昨日宣布新闻稿,面向全球研究人员和开发人员宣布 Gemma 2 大谈话模型,共有 90 亿参数(9B)和 270 亿参数(27B)两种大小。

90/270 亿参数,google宣布 Gemma 2 开源 AI 模型:机能力压同级、单 A100 / H100 GPU 可运行

Gemma 2 大谈话模型相比较第一代,推理机能更高、效劳更高,并在安全性方面取得了重大进步。

google在新闻稿中表示,Gemma 2-27B 模型的机能媲美两倍范围的主流模型,而且只需要一片英伟达 H100 ensor Core GPU 或 TPU 主机就能兑现这种机能,从而大大降低了安排成本。

Gemma 2-9B 模型优于 Llama 3 8B 和其他类似范围的开源模型。google还计划在未来几个月宣布参数为 26 亿的 Gemma 2 模型,更适合智能手机的人工智能应用场景。

google表示为 Gemma 2 重新设计了整体架构,兑现卓越的机能和推理效劳。IT之家附上 Gemma 2 主要特点如下:

机能优异:

27B 版本在同范围级别中机能最佳,甚至比两倍于其尺寸的机型更具竞争力。9B 版本的机能在同类产品中也处于领先地位,超过了 Llama 3 8B 和其他同范围的开放模型。

90/270 亿参数,google宣布 Gemma 2 开源 AI 模型:机能力压同级、单 A100 / H100 GPU 可运行

效劳和成本:

27B Gemma 2 模型可在单个google云 TPU 主机、英伟达 A100 80GB Tensor Core GPU 或英伟达 H100 Tensor Core GPU 上以全精度高效运行推理,在保持高机能的同时大幅降低成本。这使得人工智能安排更容易兑现,预算也更合理。

跨硬件快速推理

Gemma 2 经过优化,可在各种硬件(从功能强大的游戏笔记本电脑和高端台式机到基于云的设置)上以惊人的速度运行。

在 Google AI Studio 中测验考试全精度的 Gemma 2,在 CPU 上使用 Gemma.cpp 的量化版本解锁本地机能,或通过 Hugging Face Transformers 在配备 NVIDIA RTX 或 GeForce RTX 的家用电脑上进行测验考试。

给TA打赏
共{{data.count}}人
人已打赏
AI

OpenAI 与《期间》达成合作和谈:可用其杂志实质训练 ChatGPT

2024-6-28 8:13:42

AI

科大讯飞发布星火智能审阅机:鉴于星火大模型,准确率 99%

2024-6-28 9:45:16

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索