700 亿参数 LLaMA2 训练加速 195%，基础大模型最佳实践再升级

供应开箱即用的8到512卡LLaMA2训练、微调、推理规划。

ChatGPT 引发的大模型热潮愈演愈烈，全球科技巨头和明星初创争相入局，打造以 AI 大模型为核心的竞争力和多样化商业运用需求。其中 LLaMA 系列模型，因良好的基础能力和开放生态，已积累了海量的用户和实际运用案例，成为无数开源模型后来者的模仿和竞争的标杆对象。

但如何降低类 LLaMA2 大模型预训练成本，如何基于 LLaMA2 通过继续预训练和微调，低成本构建 AI 大模型实际运用，仍是 AIGC 相关企业面临的关键瓶颈。

作为全球规模最大、最活跃的大模型开发工具与社区，Colossal-AI 再次迭代，供应开箱即用的 8 到 512 卡 LLaMA2 训练、微调、推理规划，对 700 亿参数训练加速 195%，并供应一站式云平台解决规划，极大降低大模型开发和落地运用成本。

开源地址：https://github.com/hpcaitech/ColossalAI

LLaMA2 训练加速 195%

Meta 开源的 LLaMA 系列大模型进一步激发了打造类 ChatGPT 的热情，并由此衍生出了诸多项目和运用。

700 亿参数 LLaMA2 训练加速 195%，基础大模型最佳实践再升级

最新的 7B~70B LLaMA2 大模型，则进一步提高了语言模型的基础能力。但由于 LLaMA2 的预训练预料大部分来自英文通用知识，而仅用微调能够提升和注入的领域知识和多语言能力也相对有限。此外，高质量的专业知识和数据集通常被视为各个行业和公司的核心资产，仅能以私有化形式保存。因此，以低成本预训练 / 继续预训练 / 微调 LLaMA2 系列大模型，结合高质量私有化业务数据积累，帮助业务降本增效是众多行业与企业的迫切需求与瓶颈。但 LLaMA2 大模型仅发布了原始模型权重与推理脚本，不支持训练 / 微调，也未供应数据集。

针对上述空白与需求，Colossal-AI 开源了针对 LLaMA2 的全流程规划，并具备高可扩展性，支持从 70 亿到 700 亿参数的模型，从 8 卡到 512 卡都可保持良好的机能。

在运用 8 卡训练 / 微调 LLaMA2-7B 时，Colossal-AI 能达到约 54% 的硬件利用率（MFU），处于业界领先水平。而对于预训练任务，以运用 512 张 A100 40GB 预训练 LLaMA2-70B 为例，DeepSpeed ZeRO3 策略因显存不足而无法启动，仅能通过速度衰减较大的 ZeRO3-offload 策略启动。而 Colossal-AI 则因卓越的系统优化和扩展性，仍能保持良好机能，训练提速 195%。

700 亿参数 LLaMA2 训练加速 195%，基础大模型最佳实践再升级

Colossal-AI LLaMA-2 训练 / 微调规划的高机能来源于新的异构内存管理系统 Gemini 和高机能算子（包括 Flash attention 2）等系统优化。新 Gemini 供应了高可扩展性，高鲁棒性，高易用性的接口。其 Checkpoint 格式与 HuggingFace 完全兼容，减小了运用和转换成本。其对于切分、offload 等的设置更加灵活且易用，能够覆盖更多硬件配置下的 LLaMA-2 训练 / 微调任务。仅需数行代码便可运用：

from colossalai.booster import Booster
from colossalai.booster.plugin import GeminiPlugin
plugin = GeminiPlugin ()
booster = Booster (plugin=plugin)
model, optimizer, train_dataloader, criterion= booster.boost (model, optimizer, train_dataloader, criterion)

ShardFormer 多维细粒度并行

虽然对于主流硬件条件和大多数模型，Colossal-AI 的新 Gemini 已经能够供应良好的机能。但是对于一些极端硬件条件，或者是特殊模型，可能仍然需要多维并行的细粒度优化。现有其他规划通常需要分布式系统资深专家，手动对代码进行大规模重构和调优，Colossal-AI 的 ShardFormer 供应了开箱即用的多维并行和算子优化的能力，仅需数行代码便可运用，在单机 / 大规模集群上都能供应良好的机能。

from colossalai.booster import Booster
from colossalai.booster.plugin import HybridParallelPlugin
from transformers.models.llama import LlamaForCausalLM, LlamaConfig
plugin = HybridParallelPlugin (tp_size=2, pp_size=2, num_microbatches=4, zero_stage=1)
booster = Booster (plugin=plugin)
model = LlamaForCausalLM (LlamaConfig ())
model, optimizer, train_dataloader, criterion = booster.boost (model, optimizer, train_dataloader, criterion)

Colossal-AI ShardFormer 支持包括 LLaMA1/2、BLOOM、OPT、T5、GPT-2、BERT、GLM 在内的主流开源模型，也可以直接运用 Huggingface/transformers 模型导入，Checkpoint 格式也与 HuggingFace 完全兼容，对比 Megatron-LM 等需重写大量代码的规划，大大提升了易用性。

700 亿参数 LLaMA2 训练加速 195%，基础大模型最佳实践再升级