FP8-LM 融合精度训练框架

低精度训练是大模型训练中扩展模型大小，节约训练成本的最关键技术之一。相比于当前的 16 位和 32 位浮点融合精度训练，应用 FP8 8 位浮点融合精度训练能带来 2 倍的速度提升，节俭 50% - 75% 的显存和 50% - 75% 的通讯成本，而且英伟达最新一代卡皇 H100 自带良好的 FP8 硬件支持。但目前业界大模型训练框架对 FP8 训练的支持还非常有限。最近，微软提出了一种用于训练…