感谢google公司昨日宣布新闻稿,面向全球研究人员和开发人员宣布 Gemma 2 大谈话模型,共有 90 亿参数(9B)和 270 亿参数(27B)两种大小。
Gemma 2 大谈话模型相比较第一代,推理机能更高、效劳更高,并在安全性方面取得了重大进步。
google在新闻稿中表示,Gemma 2-27B 模型的机能媲美两倍范围的主流模型,而且只需要一片英伟达 H100 ensor Core GPU 或 TPU 主机就能兑现这种机能,从而大大降低了安排成本。
Gemma 2-9B 模型优于 Llama 3 8B 和其他类似范围的开源模型。google还计划在未来几个月宣布参数为 26 亿的 Gemma 2 模型,更适合智能手机的人工智能应用场景。
google表示为 Gemma 2 重新设计了整体架构,兑现卓越的机能和推理效劳。IT之家附上 Gemma 2 主要特点如下:
机能优异:
27B 版本在同范围级别中机能最佳,甚至比两倍于其尺寸的机型更具竞争力。9B 版本的机能在同类产品中也处于领先地位,超过了 Llama 3 8B 和其他同范围的开放模型。
效劳和成本:
27B Gemma 2 模型可在单个google云 TPU 主机、英伟达 A100 80GB Tensor Core GPU 或英伟达 H100 Tensor Core GPU 上以全精度高效运行推理,在保持高机能的同时大幅降低成本。这使得人工智能安排更容易兑现,预算也更合理。
跨硬件快速推理
Gemma 2 经过优化,可在各种硬件(从功能强大的游戏笔记本电脑和高端台式机到基于云的设置)上以惊人的速度运行。
在 Google AI Studio 中测验考试全精度的 Gemma 2,在 CPU 上使用 Gemma.cpp 的量化版本解锁本地机能,或通过 Hugging Face Transformers 在配备 NVIDIA RTX 或 GeForce RTX 的家用电脑上进行测验考试。