IBM 全新光学技术可缩短 GPU 闲置时间,大幅加快 AI 模型训练速度

IBM 宣布开发出一种新的光学技术,能够以光速训练 AI 模型,同时大幅节省能源。该公司表示,通过将这项突破应用于数据中心,训练一个 AI 模型所节省的能源相当于 5000 个美国家庭一年的能源消耗。

IBM 宣布开发出一种新的光学技术,能够以光速训练 AI 模型,同时大幅节省能源。该公司表示,通过将这项突破应用于数据中心,训练一个 AI 模型所节省的能源相当于 5000 个美国家庭一年的能源消耗。

IBM 全新光学技术可缩短 GPU 闲置时间,大幅加快 AI 模型训练速度

该公司解释说,虽然数据中心通过光纤电缆与外部世界连接,但内部仍然使用铜线。这些铜线连接着 GPU 加速器,而 GPU 加速器在等待来自其他设备的数据时会有大量时间处于空闲状态,同时消耗能量并推高成本。

IBM 高级副总裁兼研究总监 Dario Gil 称:“随着生成式 AI 对更多能源和处理能力的需求,数据中心必须进化,而共封装光学技术(CPO)可以使这些数据中心面向未来。通过这一突破,未来的芯片将像光纤电缆进出数据中心传输数据一样进行通信,从而开启一个更快、更可持续的通信新时代,能够处理未来的 AI 工作负载。”

AI在线注意到,IBM 在一篇技术论文中概述了其新的 CPO 原型。通过显著增加数据中心的带宽,可以最大限度地减少 GPU 的闲置时间,从而加速 AI 处理。IBM 称,大型语言模型(LLM)的训练时间可以从三个月缩短到三周。同时,更高的能源效率将降低能源消耗,并减少与训练 LLM 相关的成本。

给TA打赏
共{{data.count}}人
人已打赏
应用

今天,ChatGPT升级为生产力工具:Canvas全量开放,人+AI协作模式启动

2024-12-11 8:53:00

应用

微软为 Win11 推出“原生”Copilot 应用,但本质仍是一个网页

2024-12-11 9:13:58

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索