-
Meta 训练 Llama 3 遭遇频繁故障：16384 块 H100 GPU 训练集群每 3 小时“罢工”一次
Meta 发布的一份研究报告显示，其用于训练 4050 亿参数模型 Llama 3 的 16384 个英伟达 H100 显卡集群在 54 天内出现了 419 次意外故障，平均每三小时就有一次。其中，一半以上的故障是由显卡或其搭载的高带宽内存（HBM3）引起的。由于系统规模巨大且任务高度同步，单个显卡故障可能导致整个训练任务中断，需要重新开始。尽管如此，Meta 团队还是保持了 90% 以上的有效训…- 15
- 0
-
全美 TOP 5 机器进修博士：痛心，实验室 H100 数量为 0！同实验室博士用 GPU 得靠抢
【新智元导读】全美 TOP 5 的机器进修博士痛心发帖自曝，自己实验室里 H100 数目是 0！这也引起了 ML 社区的全球网友大讨论。显然，相比普林斯顿、哈佛这样动辄三四百块 H100 的 GPU 大户，更常见的是 GPU 短缺的「穷人」。同一个实验室的博士，甚至时常会出现需要争抢 GPU 的情况。全美 TOP 5 高校的机器进修博士，实验室却连一块 H100 都没有？最近，这位网友在 redd…- 4
- 0
扫码打开当前页
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×