跨国科技公司 Yandex 最近推出了 YaFSDP，这是一种用于训练大型语言模型 (LLM) 的开源方法。YaFSDP 是目前最有效的公开可用对象，用于增强 GPU 通讯并减少 LLM 训练中的内存运用量，与 FSDP 相比，其训练速率晋升最高可达 26%，具体取决于架构和参数数量。通过运用 YaFSDP 减少 LLM 的训练时间可以浪费高达 20% 的 GPU 资本。
Yandex 承诺为寰球人工智能社区的发展做出贡献，将YaFSDP开源提供给寰球的 LLM 开发人员和人工智能爱好者即是履行此承诺的其中一步。
“目前，我们正在积极尝试各种模型架构和参数大小，以扩展 YaFSDP 的多功能性，”Yandex 高级开发专家、YaFSDP 团队成员 Mikhail Khruschev 指出，“我们很高兴与寰球 ML 社区分享我们在 LLM 训练方面的研发成果，希望能为寰球研究人员和开发者获得更多的开源对象和更高的效力做出贡献。”
YaFSDP 案例
LLM 训练是一个耗时且资本密集的过程。机器学习工程师和自主开发 LLM 的公司投入了大量的时间和 GPU 资本（相当于金钱）来训练这些模型。模型越大，其训练所需的时间和费用就越高。
Yandex 的 YaFSDP 优化了学习速率和性能，使寰球的 AI 开发人员在训练模型时可以运用更少的计算能力和 GPU 资本。例如，在涉及具有 700 亿个参数之模型的预训练场景中，运用 YaFSDP 可以浪费大约 150 个 GPU 的资本，这意味着每月可以浪费大约 50 万美元到 150 万美元（取决于虚拟 GPU 提供商或平台）。
YaFSDP 通过消除 GPU 通讯效力低下来晋升效能，确保训练时只需必要的处理器内存，并使 GPU 交互不间断。
YaFSDP 的训练效力
YaFSDP 是 FSDP 的增强版，在 LLM 训练中最耗通讯的阶段（如预训练、对齐和微调）中，其表现优于 FSDP 方法。YaFSDP 在 Llama 2 和 Llama 3 上展示的最终提速表明训练速率显著提高，在 Llama 2 70B 和 Llama 3 70B 上分别达到 21% 和 26%。
Mikhail Khruschev 表示：“YaFSDP 在 130 亿至 700 亿个参数的模型上表现出色，在 300 亿至 700 亿个参数范围内表现尤为惊人。目前，YaFSDP 最适合基于 LLaMA 架构的广泛运用之开源模型。”
YaFSDP 并不是 Yandex 的第一个开源对象。该公司之前曾分享过其他几款在 ML 社区中很受欢迎的对象，包括：
CatBoost：一种高性能的基于决策树之梯度晋升库。YTsaurus：分布式存储和处理的大数据平台。AQLM：最先进的量化算法之一，用于大型语言模型的极限压缩。由 Yandex Research、HSE 大学、 IST Austria 及 NeuralMagic 共同开发。Petals：是一个旨在简化 LLM 训练和微调过程的库，由 Yandex Research、HSE 大学、华盛顿大学、Hugging Face、巴黎-萨克雷高等经济学院和 Yandex 数据分析学院合作开发。