英伟达 AI 芯片 H200 开始供货,性能相比 H100 提升 60%-90%

感谢据日本经济新闻今日报道,英伟达的尖端图像处理半导体(GPU)H200 现已开始供货。H200 为面向 AI 领域的半导体,性能超过当前主打的 H100。根据英伟达方面公布的性能评测结果,以 Meta 公司旗下大语言模型 Llama 2 处理速度为例,H200 相比于 H100,生成式 AI 导出答案的处理速度最高提高了 45%。市场调研机构 Omdia 曾表示,2022 年英伟达在 AI 半导体市场约占 8 成的份额,与此同时 AMD 等竞争对手也在开发对抗英伟达的产品,竞争愈演愈烈。英伟达当地时间 3 月 1
感谢据日本经济新闻今日报道,英伟达的尖端图像处理半导体(GPU)H200 现已开始供货。H200 为面向 AI 领域的半导体,性能超过当前主打的 H100。

根据英伟达方面公布的性能评测结果,以 Meta 公司旗下大语言模型 Llama 2 处理速度为例,H200 相比于 H100,生成式 AI 导出答案的处理速度最高提高了 45%。

英伟达 AI 芯片 H200 开始供货,性能相比 H100 提升 60%-90%

市场调研机构 Omdia 曾表示,2022 年英伟达在 AI 半导体市场约占 8 成的份额,与此同时 AMD 等竞争对手也在开发对抗英伟达的产品,竞争愈演愈烈。

英伟达当地时间 3 月 18 日在开发者大会上宣布,年内将推出新一代 AI 半导体“B200”,B200 和 CPU(中央运算处理装置)组合的新产品用于最新的 LLM 上。“最强 AI 加速卡”GB200 包含了两个 B200 Blackwell GPU 和一个基于 Arm 的 Grace CPU ,推理大语言模型性能比 H100 提升 30 倍,成本和能耗降至 25 分之一。

GB200 采用新一代 AI 图形处理器架构 Blackwell,黄仁勋在 GTC 大会上表示:“Hopper 固然已经非常出色了,但我们需要更强大的 GPU”。

据IT之家此前报道,英伟达 H200 于去年 11 月发布,其为基于英伟达的“Hopper”架构的 HGX H200 GPU,是 H100 GPU 的继任者,也是该公司第一款使用 HBM3e 内存的芯片,这种内存速度更快,容量更大,因此更适合大型语言模型。较前任霸主 H100,H200 的性能直接提升了 60% 到 90%。英伟达称:“借助 HBM3e,英伟达 H200 以每秒 4.8 TB 的速度提供 141GB 的内存,与 A100 相比,容量几乎是其两倍,带宽增加了 2.4 倍。”

相关阅读:

《英伟达发布最强 AI 加速卡--Blackwell GB200,今年发货》

《老黄深夜炸场!英伟达发布全球最强 AI 芯片 H200:性能飙升 90%,Llama 2 推理速度翻倍》

相关资讯

Meta 发言人确认将率先使用英伟达旗舰 AI 芯片 B200,预估今年晚些时候收到

感谢Meta 发言人于美东时间 19 日告诉路透社,公司预计今年晚些时候收到英伟达最新旗舰 AI 芯片 ——B200,且为英伟达的首批出货。英伟达的首席财务官 Colette Kress 则告诉金融分析师,“我们认为(产品)将在今年晚些时候上市”,但他也表示,新 GPU 的出货量要到 2025 年才会增加。据悉,社媒巨头 Meta 是英伟达最大的客户之一,该公司曾购买了数十万块上一代加速卡(H100)。Meta 的 CEO 扎克伯格曾在今年 1 月宣布,公司计划在今年年底前储备大约 35 万块 H100。他补充说,

英伟达 H100 AI GPU 短缺缓解,交货时间从 3-4 个月降至 2-3 个月

曾几何时,英伟达用于人工智能计算的 H100 GPU 供不应求。然而据 Digitimes 报道,台积电的台湾地区总经理 Terence Liao 表示,过去几个月英伟达 H100 的交货等待时间已经大幅缩短,从最初的 3-4 个月降至目前的 2-3 个月(8-12 周)。服务器代工厂商也透露,相比 2023 年几乎无法买到英伟达 H100 的情况,目前供应瓶颈正在逐步缓解。尽管交货等待时间有所缩短,Terence Liao 表示,对于人工智能硬件的需求仍然非常旺盛。即使价格昂贵,用于人工智能的服务器采购也正在取代

最强AI芯片英伟达H200深夜发布,Llama2-70B推理提速90%,2024年二季度发货

芯片巨头英伟达,又打出一张王牌。英伟达在 2023 年全球超算大会(SC2023)上发布了目前世界上最强的 AI 芯片 H200。这款新的 GPU 基于 H100 进行了升级,内存带宽提高了 1.4 倍,内存容量提高了 1.8 倍,提高了处理生成式 AI 任务的能力。该公司高性能计算和超大规模数据中心业务副总裁 Ian Buck 表示:「英伟达在硬件和软件上的创新正在缔造新型 AI 超算。」英伟达在官方博客中表示:NVIDIA H200 Tensor Core GPU 具有改变游戏规则的性能和内存功能,可增强生成式