26%

俄罗斯科技巨头 Yandex 推出了一款开源的大语言模型训练对象 ——YaFSDP，号称与现有对象相比速率最高可晋升 26%。据介绍，YaFSDP 在训练速率方面优于传统的 FSDP 方法，尤其适用于大型模型。在预训练 LLM 方面，YaFSDP 速率提高了 20%，并且在高内存压力条件下表现更佳。例如，YaFSDP 对具有 700 亿参数的 Llama 2 可以实现 21% 的效益晋升，对具有同…