该超级计算机将配备数百万个专用服务器芯片,旨在为 OpenAI 的 AI 技巧提供强大动力。
根据 Information 消息,微软和 OpenAI 正在设计一个数据中心项目,该项目将包含一个拥有数百万专用服务器芯片的超级计算机,以支持 OpenAI 的人工智能技巧。另外,项目利润能够高达 1000 亿美元,包括一个名为 Stargate (「星际之门」)的人工智能超级计算机,预计将于 2028 年启动。微软很能够负责资助该项目。
不过该项目尚未获得正式批准,未来或许还有变化。
一位知情人士示意,微软是否愿意继续实施 Stargate 设计,在一定程度上取决于 OpenAI 提升其人工智能能力的有效性。因为 OpenAI 去年未能交付其向微软承诺的新模型。然而,OpenAI 首席执行官 Sam Altman 公开示意,阻碍更好人工智能发展的主要瓶颈是缺乏足够的服务器。
如果 Stargate 设计得以实施,它将产生的计算能力将比微软目前从凤凰城等地的数据中心提供给 OpenAI 的计算能力大几个数量级。据这些人士称,拟议中的超级计算机还将至少须要几吉瓦的电力 —— 相当于至少运行几个大型数据中心今天所需的电力,项目的大部分利润将用于采购芯片。
Stargate 最早在 2028 年启动,2030 年完成扩展,最后阶段能够须要多达 5 吉瓦的电力。
这不禁让我们想起了前段时间网络上一直盛传的 Altman 筹集 7 万亿美元造芯片厂的事(Altman 对此否认过),不过本着看热闹不嫌事大的网友调侃道「Sama 不知怎么说服了微软再花 1000 亿美元,不过,他仍须要 6.9 万亿美元。」
Altman 和微软将这些超级计算机视为五个阶段完成,其中第五阶段为 Stargate。据两位知情人士透露,微软正在为 OpenAI 开发一款规模更小的第四阶段超级计算机,设计在 2026 年左右推出。现在,微软和 OpenAI 正处于第三阶段的中期。
第四、第五阶段须要采购大量的 AI 芯片,利润约占目前正在建设的数据中心初始总利润的一半左右。总而言之,拟议的项目能够花费超过 1150 亿美元,是微软去年在服务器和其他设备上支出的三倍多。
微软发言人 Frank Shaw 没有对超级计算机项目发表评论,但在一份声明中示意:我们始终在规划下一代基础设施创新,这些创新是继续推动人工智能能力前沿所必需的。OpenAI 的发言人对此没有做出评论。
Altman 曾私下示意,作为 OpenAI 的最大竞争对手之一,google在短期内将拥有比 OpenAI 更多的计算能力,并且他公开抱怨 AI 服务器芯片没有达到他的预期。
据参与讨论的人士示意,Stargate 旨在让微软和 OpenAI 可以选择使用 Advanced Micro Devices 等英伟达以外公司生产的 GPU,甚至是微软最近推出的一款人工智能服务器芯片。
除了算力,微软还必须克服技巧挑战。例如,目前提出的设计要求在单个机架上放置比微软习惯的更多的 GPU,以提高芯片的效率和性能。由于 GPU 的密度更高,微软还须要想出一种防止芯片过热的方法。
OpenAI 总裁 Greg Brockman(左)和微软首席技巧官 Kevin Scott。
对于上述种种问题,微软和 OpenAI 仍在敲定几个关键细节,能够不会很快有结论。
对于 OpenAI 来说,证明其下一代大语言模型(LLM)比今天最先进的 GPT-4 有显著优势至关重要。OpenAI 一年前颁布了 GPT-4,与此同时,google也颁布了一个类似的模型试图赶上。据一位了解此过程的人士说,OpenAI 设计在明年初之前颁布其下一代 LLM 的重大升级。在此之前,OpenAI 能够会颁布 LLM 的更多渐进式改良。
随着更多服务器的可用,OpenAI 可以利用其现有的 AI 和最近的技巧突破如 Q*,以在用尽人类生成的数据后训练更好的模型。这些模型也能够会发现像 GPT-4 这样的现有模型的缺陷,并建议技巧改良 —— 换句话说,实现自我改良的 AI 或许快来了。
参考链接:
https://www.theinformation.com/articles/microsoft-and-openai-plot-100-billion-stargate-ai-supercomputer?rc=ks2jbm