英伟达 H100 AI GPU 短缺减缓,交货时间从 3-4 个月降至 2-3 个月

曾几何时,英伟达用于人工智能计算的 H100 GPU 供不应求。然而据 Digitimes 报道,台积电的台湾地区总经理 Terence Liao 表示,过去几个月英伟达 H100 的交货守候时间已经大幅收缩,从最后的 3-4 个月降至暂时的 2-3 个月(8-12 周)。服务器代工厂商也透露,相比 2023 年几乎无法买到英伟达 H100 的情况,暂时提供瓶颈在逐步减缓。尽管交货守候时间有所收缩,Terence Liao 表示,对于人工智能硬件的需求仍然非常旺盛。即使价格昂贵,用于人工智能的服务器收购也在取代

曾几何时,英伟达用于人工智能计算的 H100 GPU 供不应求。然而据 Digitimes 报道,台积电的台湾地区总经理 Terence Liao 表示,过去几个月英伟达 H100 的交货守候时间已经大幅收缩,从最后的 3-4 个月降至暂时的 2-3 个月(8-12 周)。服务器代工厂商也透露,相比 2023 年几乎无法买到英伟达 H100 的情况,暂时提供瓶颈在逐步减缓。

英伟达 H100 AI GPU 短缺减缓,交货时间从 3-4 个月降至 2-3 个月

尽管交货守候时间有所收缩,Terence Liao 表示,对于人工智能硬件的需求仍然非常旺盛。即使价格昂贵,用于人工智能的服务器收购也在取代通用服务器的收购。但他认为,交付周期太长正是导致需求看起来居高不下的主要原因。

IT之家注意到,暂时 2-3 个月的交货守候时间是英伟达 H100 GPU 史上最短的。仅仅 6 个月之前,守候时间还长达 11 个月,大多数英伟达的客户需求守候将近一年的时间才能拿到他们订购的人工智能 GPU。

自 2024 年初以来,H100 GPU 交货守候时间一直在显著收缩。今年年初,守候时间就已经从最后的数月降至 3-4 个月。现在又进一步收缩了一个月。依这样的速度,到今年年底甚至更早,或许将不再需求守候。

导致这种情况变化的部分原因可能是,一些公司持有过剩的 H100 GPU 库存,并且为了降低闲置库存的高额维护成本而进行转售。此外,亚马逊云科技 (AWS) 方便了用户通过云端租赁英伟达 H100 GPU,这也帮助减缓了部分对 H100 的需求压力。

暂时唯一仍在承受提供限制的英伟达客户是一些庞大企业,例如 OpenAI,这类公司在研发自己的庞大谈话模型 (LLM)。训练庞大谈话模型需求成千上万颗 GPU 才能快速高效地完成,因此这些公司仍然面临着提供瓶颈的挑战。

给TA打赏
共{{data.count}}人
人已打赏
AI

1760 亿参数、大小 281GB,Mixtral 8x22B 开源模型登场:可 Torrent 下载

2024-4-11 6:06:10

AI

最高 7.25 美圆 / 分钟,Adobe 购买视频构建 AI 模型与 Sora 竞争

2024-4-11 10:30:34

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索