90/270 亿参数,谷歌发布 Gemma 2 开源 AI 模型:性能力压同级、单 A100 / H100 GPU 可运行

感谢谷歌公司昨日发布新闻稿,面向全球研究人员和开发人员发布 Gemma 2 大语言模型,共有 90 亿参数(9B)和 270 亿参数(27B)两种大小。Gemma 2 大语言模型相比较第一代,推理性能更高、效率更高,并在安全性方面取得了重大进步。谷歌在新闻稿中表示,Gemma 2-27B 模型的性能媲美两倍规模的主流模型,而且只需要一片英伟达 H100 ensor Core GPU 或 TPU 主机就能实现这种性能,从而大大降低了部署成本。Gemma 2-9B 模型优于 Llama 3 8B 和其他类似规模的开源模
感谢谷歌公司昨日发布新闻稿,面向全球研究人员和开发人员发布 Gemma 2 大语言模型,共有 90 亿参数(9B)和 270 亿参数(27B)两种大小。

90/270 亿参数,谷歌发布 Gemma 2 开源 AI 模型:性能力压同级、单 A100 / H100 GPU 可运行

Gemma 2 大语言模型相比较第一代,推理性能更高、效率更高,并在安全性方面取得了重大进步。

谷歌在新闻稿中表示,Gemma 2-27B 模型的性能媲美两倍规模的主流模型,而且只需要一片英伟达 H100 ensor Core GPU 或 TPU 主机就能实现这种性能,从而大大降低了部署成本。

Gemma 2-9B 模型优于 Llama 3 8B 和其他类似规模的开源模型。谷歌还计划在未来几个月发布参数为 26 亿的 Gemma 2 模型,更适合智能手机的人工智能应用场景。

谷歌表示为 Gemma 2 重新设计了整体架构,实现卓越的性能和推理效率。IT之家附上 Gemma 2 主要特点如下:

性能优异:

27B 版本在同规模级别中性能最佳,甚至比两倍于其尺寸的机型更具竞争力。9B 版本的性能在同类产品中也处于领先地位,超过了 Llama 3 8B 和其他同规模的开放模型。

90/270 亿参数,谷歌发布 Gemma 2 开源 AI 模型:性能力压同级、单 A100 / H100 GPU 可运行

效率和成本:

27B Gemma 2 模型可在单个谷歌云 TPU 主机、英伟达 A100 80GB Tensor Core GPU 或英伟达 H100 Tensor Core GPU 上以全精度高效运行推理,在保持高性能的同时大幅降低成本。这使得人工智能部署更容易实现,预算也更合理。

跨硬件快速推理

Gemma 2 经过优化,可在各种硬件(从功能强大的游戏笔记本电脑和高端台式机到基于云的设置)上以惊人的速度运行。

在 Google AI Studio 中尝试全精度的 Gemma 2,在 CPU 上使用 Gemma.cpp 的量化版本解锁本地性能,或通过 Hugging Face Transformers 在配备 NVIDIA RTX 或 GeForce RTX 的家用电脑上进行尝试。

相关资讯

智谱 AI 宣布全模型矩阵降价:GLM-4-Flash 模型降至 0.06 元 / 百万 Tokens

在今天举行的智谱 AI Open Day 上,智谱 AI 宣布全模型矩阵降价。IT之家附降价情况如下:GLM-4-Air、GLM-3-Turbo 现价 0.6 元 / 百万 TokensEmbedding-2 现价 0.3 元 / 百万 TokensGLM-4-Flash 现价 0.06 元 / 百万 Tokens在今天的活动中,智谱还宣布开源 GLM-4-9B 系列模型,其包含基座模型、视觉模型,以及不同上下文长度的 Chat 模型。GLM-4-9B-Chat 可提供多轮对话、网页浏览、代码执行、自定义工具调用等

智谱发布并开源代码生成大模型 CodeGeeX 第四代,号称百亿以下规模性能最强

正在进行的 2024 世界人工智能大会(WAIC 2024)期间,智谱 AI 发布并开源代码生成大模型 CodeGeeX 的第四代产品 CodeGeeX4-ALL-9B,集代码补全和生成、代码问答、代码解释器、工具调用、联网搜索、项目级代码问答等所有能力于一体,号称是目前百亿(10B)参数以下性能最强、最全能的代码大模型。据介绍,该模型在 GLM4 的语言能力的基础上大幅增强了代码生成能力。CodeGeeX4-ALL-9B 单一模型,即可支持代码补全和生成、代码解释器、联网搜索、工具调用、仓库级长代码问答及生成等功

零一万物开源 Yi-Coder 系列编程助手模型,支持 52 种编程语言

零一万物今日宣布开源 Yi-Coder 系列模型,该模型是 Yi 系列模型家族中的编程助手。Yi-Coder 系列模型专为编码任务而生,提供 1.5B 和 9B 两种参数。其中,Yi-Coder-9B 的表现号称“优于其他 10B 参数以下的模型”,如 CodeQwen1.5 7B 和 CodeGeex4 9B,甚至能够“与 DeepSeek-Coder 33B 相媲美”。据介绍,Yi-Coder 能够处理最长 128K tokens 的上下文内容,适用于复杂项目级代码的理解和生成。Yi-Coder 还支持 52