中断

Meta 发布的一份研究报告显示，其用于训练 4050 亿参数模型 Llama 3 的 16384 个英伟达 H100 显卡集群在 54 天内出现了 419 次意外故障，平均每三小时就有一次。其中，一半以上的故障是由显卡或其搭载的高带宽内存（HBM3）引起的。由于系统规模巨大且任务高度同步，单个显卡故障可能导致整个训练任务中断，需要重新开始。尽管如此，Meta 团队还是保持了 90% 以上的有效训…

「为什么英特尔要关注可中断性？因为这对人类和地球有益，也是明智的商业决策。我们有责任将地球交给下一代时确保它处于良好状态。」帕特・基辛格说道。4 月 12 日，主题为「可中断・共现在」的 2023 英特尔可中断倒退高峰论坛于北京举办。英特尔公司首席执行官帕特・基辛格（Parick Gelsinger），英特尔公司高级副总裁、英特尔中国区董事长王锐，英特尔各业务部门负责人以及来自业界的近 400 名…