近日，蚂蚁团体宣布开源大模型分布式训练加快扩大库ATorch。ATorch可针对不同模型和硬件资源，实现深度进修主动资源静态优化和分布式训练稳定性晋升，帮助晋升深度进修的智能性。据了解，在大模型训练中，ATorch千亿模型千卡级别训练的算力利用率可达60%，相当于为跑车装上了强劲的引擎。
图：ATorch致力于让大模型训练更高效、可复现
随着生成式大模型的爆发，模型训练的数据集和参数规模成指数级增长，要带动如此庞然大物，并且满足模型的快速迭代，分布式训练就成为了解题之道。在大模型开发工作中，很多开发者和研究人员采用PyTorch和TensorFlow深度进修框架，来构建和训练模型。业内已开展多项工作，为PyTorch等深度进修框架装上更加适用于大模型训练的“工具包”，本次蚂蚁开源的ATorch就是其中之一。
据了解，ATorch采用了分层的架构设计，功能清晰、设计全面，可为开发者提供极致精简的开发体验，以及领先的稳定性保障。主要包括统一分布式优化策略配置接口、主动分布式策略搜索、主动弹性容错、高效静态显存管理库、自研优化器加快收敛等核心功能。作为PyTorch框架的高性能扩大加快库，ATorch可实现最少化用户代码侵入，为千亿参数大模型千卡级训练提供易用的高性能方案。
近期在以开源模型为对象的大模型训练优化实践中，ATorch取得了优秀的成绩。如，将清华大学开源的GLM-65b大模型千卡预训练算力利用率从28.8%晋升至62%、Meta开发的LLama2-70b大模型预训练算力利用率从42%晋升至60%、英国AI公司Stability AI 开发的多模态大模型Stable Diffusion训练算力利用率从21.8%晋升至58.7%。此外，ATorch千卡训练稳定性表现优秀，日均纯训练时长占比晋升至95%，ckpt save耗时控制在1分钟，训练重启耗时最快5分钟，达到了行业领先水平。
目前，ATorch已集成到蚂蚁团体大模型训练开源产品DLRover中，这是蚂蚁团体基于云原生技术打造的智能分布式深度进修系统。ATorch的加入，将更大程度上帮助大模型开发能够专注于模型架构的设计，而无需处理工程方面的细节，让训练更高效、智能。