英伟达 H100 AI GPU 短缺缓解,交货时间从 3-4 个月降至 2-3 个月

曾几何时,英伟达用于人工智能计算的 H100 GPU 供不应求。然而据 Digitimes 报道,台积电的台湾地区总经理 Terence Liao 表示,过去几个月英伟达 H100 的交货等待时间已经大幅缩短,从最初的 3-4 个月降至目前的 2-3 个月(8-12 周)。服务器代工厂商也透露,相比 2023 年几乎无法买到英伟达 H100 的情况,目前供应瓶颈正在逐步缓解。尽管交货等待时间有所缩短,Terence Liao 表示,对于人工智能硬件的需求仍然非常旺盛。即使价格昂贵,用于人工智能的服务器采购也正在取代

曾几何时,英伟达用于人工智能计算的 H100 GPU 供不应求。然而据 Digitimes 报道,台积电的台湾地区总经理 Terence Liao 表示,过去几个月英伟达 H100 的交货等待时间已经大幅缩短,从最初的 3-4 个月降至目前的 2-3 个月(8-12 周)。服务器代工厂商也透露,相比 2023 年几乎无法买到英伟达 H100 的情况,目前供应瓶颈正在逐步缓解。

英伟达 H100 AI GPU 短缺缓解,交货时间从 3-4 个月降至 2-3 个月

尽管交货等待时间有所缩短,Terence Liao 表示,对于人工智能硬件的需求仍然非常旺盛。即使价格昂贵,用于人工智能的服务器采购也正在取代通用服务器的采购。但他认为,交付周期太长正是导致需求看起来居高不下的主要原因。

IT之家注意到,目前 2-3 个月的交货等待时间是英伟达 H100 GPU 史上最短的。仅仅 6 个月之前,等待时间还长达 11 个月,大多数英伟达的客户需要等待将近一年的时间才能拿到他们订购的人工智能 GPU。

自 2024 年初以来,H100 GPU 交货等待时间一直在显著缩短。今年年初,等待时间就已经从最初的数月降至 3-4 个月。现在又进一步缩短了一个月。依这样的速度,到今年年底甚至更早,或许将不再需要等待。

导致这种情况变化的部分原因可能是,一些公司持有过剩的 H100 GPU 库存,并且为了降低闲置库存的高额维护成本而进行转售。此外,亚马逊云科技 (AWS) 方便了用户通过云端租赁英伟达 H100 GPU,这也帮助缓解了部分对 H100 的需求压力。

目前唯一仍在承受供应限制的英伟达客户是一些大型企业,例如 OpenAI,这类公司正在研发自己的大型语言模型 (LLM)。训练大型语言模型需要成千上万颗 GPU 才能快速高效地完成,因此这些公司仍然面临着供应瓶颈的挑战。

相关资讯

Meta 发言人确认将率先使用英伟达旗舰 AI 芯片 B200,预估今年晚些时候收到

感谢Meta 发言人于美东时间 19 日告诉路透社,公司预计今年晚些时候收到英伟达最新旗舰 AI 芯片 ——B200,且为英伟达的首批出货。英伟达的首席财务官 Colette Kress 则告诉金融分析师,“我们认为(产品)将在今年晚些时候上市”,但他也表示,新 GPU 的出货量要到 2025 年才会增加。据悉,社媒巨头 Meta 是英伟达最大的客户之一,该公司曾购买了数十万块上一代加速卡(H100)。Meta 的 CEO 扎克伯格曾在今年 1 月宣布,公司计划在今年年底前储备大约 35 万块 H100。他补充说,

英伟达 AI 芯片 H200 开始供货,性能相比 H100 提升 60%-90%

感谢据日本经济新闻今日报道,英伟达的尖端图像处理半导体(GPU)H200 现已开始供货。H200 为面向 AI 领域的半导体,性能超过当前主打的 H100。根据英伟达方面公布的性能评测结果,以 Meta 公司旗下大语言模型 Llama 2 处理速度为例,H200 相比于 H100,生成式 AI 导出答案的处理速度最高提高了 45%。市场调研机构 Omdia 曾表示,2022 年英伟达在 AI 半导体市场约占 8 成的份额,与此同时 AMD 等竞争对手也在开发对抗英伟达的产品,竞争愈演愈烈。英伟达当地时间 3 月 1

英伟达新架构发布,AI芯片上限提升了九倍,20块带宽就等于全球互联网

黄仁勋:芯片每代性能都翻倍,而且下个「TensorFlow」级 AI 工具可是我英伟达出的。