英伟达最新AI超级算力Blackwell GPU平台即将登陆亚马逊云科技

今天凌晨,英伟达在 GTC 大会上推出了最新一代 GPU 架构 Blackwell 及整套系统。在 Keynote 上,黄仁勋表示,已有多家科技公司和传统企业正在引入新一代产品。在发布活动后,亚马逊云科技宣布将提供基于英伟达 Grace Blackwell GPU 的 Amazon EC2 实例和 英伟达 DGX Cloud,以提高在数万亿参数 LLM 上构建和运行推理的性能。亚马逊云科技表示,英伟达的超强算力芯片系统与亚马逊云科技强大的 Elastic Fabric Adapte (EFA) 网络连接能力、高级虚

今天凌晨,英伟达在 GTC 大会上推出了最新一代 GPU 架构 Blackwell 及整套系统。在 Keynote 上,黄仁勋表示,已有多家科技公司和传统企业正在引入新一代产品。

英伟达最新AI超级算力Blackwell GPU平台即将登陆亚马逊云科技

在发布活动后,亚马逊云科技宣布将提供基于英伟达 Grace Blackwell GPU 的 Amazon EC2 实例和 英伟达 DGX Cloud,以提高在数万亿参数 LLM 上构建和运行推理的性能。

亚马逊云科技表示,英伟达的超强算力芯片系统与亚马逊云科技强大的 Elastic Fabric Adapte (EFA) 网络连接能力、高级虚拟化 ( Amazon Nitro System ) 和超大规模集群 ( Amazon EC2 UltraClusters ) 等领先技术的结合,使得该平台在加速资源密集型、数万亿参数语言模型的推理工作负载方面实现了巨大飞跃。

在安全性方面,亚马逊云科技的 Nitro 系统、Amazon KMS、EFA 加密 和 Blackwell 加密的集成将为客户提供对其训练数据和模型权重的端到端控制,从而为客户在亚马逊云科技上的生成式 AI 应用程序提供更强的安全性。

Blackwell 也加入了双方合作的 Project Ceiba 项目,该项目专为 NVIDIA 自身的 AI 研发工作设计,是一台亚马逊云科技上托管的采用 DGX Cloud 的 AI 超级计算机,它搭载了 20,736 颗 GB200 Superchips 芯片,并通过第四代 EFA 网络扩展,为每个 Superchip 提供高达 800 Gbps 的低延迟、高带宽网络吞吐量,能够提供 414 exaflops 的计算能力,与之前计划在 Hopper 架构上构建 Ceiba 相比,性能提升了 6 倍。

相关资讯

向量数据库的中场战事:长期主义者Zilliz如何全球突围

命运齿轮转动的开始,源于 2023 年的 3 月 23 日的 OpenAI 一次日常更新。 这一天,OpenAI ChatGPT 发布了一个名叫 chatgpt-retrieval-plugin 的插件功能。 而在官方 plugin 给出的标准案例中,OpenAI 专门提到,向量数据库是大模型产品形成长期记忆一个必不可少的组件。

亚马逊祭出地表最强全家桶,多模态Nova却败给Claude 3.5!

就在刚刚,亚马逊推出了号称最强大的多模态模型Nova系列。 在多项基准测试中,最强的Nova Pro成功超越了GPT-4o,仅次于Gemini 1.5 Pro、Claude 3.5 Sonnet。 相较之下,Nova Lite和Nova Micro,就要比同级竞品差上不少了。

英伟达特供版芯片将上市:性能最高不到H100的20%

国内芯片未来能否实现替代?10 月 17 日,美国商务部放出最严对华出口管制规定,H800 等 AI 加速器成为制裁的焦点。因为制裁涉及显卡功率和算力的限制,继 H100 之后,英伟达专为符合要求设计的定制芯片也因此受限。新的禁令已在 10 月 23 日生效。有经销商表示,在 A800 和 H800 GPU 无法进口后,英伟达为国内市场专门开发了一款新服务器芯片和两款新 GPU,英伟达将在未来几天内向国内制造商交付三款新芯片。继 A800 和 H800 GPU 之后,英伟达开发了 HGX H20 以及 GPU L2