百万成本揭秘LLM训练黄金法则,阶跃星辰推出全领域适用的超参数优化工具

在人工智能的激烈竞争中,一场耗资百万美元的大规模实验正悄然改变着大语言模型的训练方式。 阶跃星辰研究团队日前发布重磅研究成果,他们通过耗费近100万NVIDIA H800GPU小时的算力,从零开始训练了3,700个不同规模的模型,累计训练了惊人的100万亿个token,揭示出一条被称为"Step Law"的普适性缩放规律,为大语言模型的高效训练提供了全新指南。 这项研究不仅仅是对超参数优化的探索,更是第一个全面考察模型最优超参在不同形状、稀疏度和数据分布下稳定性的工作。

在人工智能的激烈竞争中,一场耗资百万美元的大规模实验正悄然改变着大语言模型的训练方式。阶跃星辰研究团队日前发布重磅研究成果,他们通过耗费近100万NVIDIA H800GPU小时的算力,从零开始训练了3,700个不同规模的模型,累计训练了惊人的100万亿个token,揭示出一条被称为"Step Law"的普适性缩放规律,为大语言模型的高效训练提供了全新指南。

这项研究不仅仅是对超参数优化的探索,更是第一个全面考察模型最优超参在不同形状、稀疏度和数据分布下稳定性的工作。研究结果表明,无论模型采用何种架构设计,无论训练数据来自何种语言或领域,Step Law都表现出令人惊叹的鲁棒性,这大大增强了该工具在实际应用中的价值。

团队训练的3,700个模型涵盖了不同规模、不同超参数组合、不同形状、不同数据配比以及不同稀疏度的配置,包括MoE和Dense两种架构。通过这些海量实验,他们发现最优学习率随模型参数规模与数据规模呈现幂律变化,而最优批量大小主要与数据规模相关。这一发现颠覆了业界对超参数设置的传统认知。

元宇宙 科幻 赛博朋克 绘画 (1)大模型

图源备注:图片由AI生成,图片授权服务商Midjourney

实验数据显示,在固定模型大小与数据规模的条件下,超参数优化的Landscape呈现明显的凸性特征,这意味着存在一个稳定且容易寻找的最优超参数区域。为了验证这一点,研究团队构建了三维可视化空间,直观展示了学习率与批量大小对训练损失的影响。结果清晰地展现出"山谷"形态,凸性底端是一个相对平坦的区域,这为实践中的超参数调优提供了宝贵的理论依据。

为了让这一发现惠及整个AI社区,团队开发并推出了一款通用的最优超参数估算工具。该工具的预测结果与通过穷举搜索得到的全局最优超参数相比,性能差距仅为0.09%。这意味着研究人员和工程师们可以不再依赖昂贵的网格搜索,而是直接通过这一工具获得接近最优的超参数配置。

更让人印象深刻的是Step Law的普适性。研究团队从三个不同角度验证了其适用范围:首先,无论模型形状如何变化——是偏向宽度、偏向深度,还是宽深平衡——Step Law都能准确预测最优超参数区域;其次,这一规律不仅适用于Dense模型,还能很好地扩展到不同稀疏度的MoE模型;最后,无论训练数据是英语主导、中英双语、代码与英语混合,还是以代码为主的分布,Step Law都表现出了惊人的稳定性。

研究还揭示了学习率调度策略的优化方向。与传统的学习率衰减策略不同,团队提出采用固定的最小学习率(1e-5),而非传统方法中将最小值设为最大值的十分之一。这一改变使得训练在后期能够维持更为合理的参数更新步长,有效避免了损失函数在收敛阶段的持续振荡。

此外,研究发现平滑训练损失与验证损失的最优超参数高度一致,这一发现为超参数选择提供了更为经济的方法——研究人员可以通过监控平滑训练损失来指导超参数调整,而无需频繁在验证集上评估模型性能。

尽管取得了显著成果,阶跃星辰研究团队坦言这仅仅是一个开始。他们计划陆续开源实验的各个细节,包括近4000个模型的最终检查点,以供整个社区进行更深入的分析和理论解释。未来的研究方向包括探索Loss-BS-LR三维空间的凸性、改进最优超参数的拟合方法、解释不同配置下次优区域的变化,以及深入研究不同设置下的训练动态。

Predictable Scale系列的后续工作可能将进一步讨论超大模型性能预测、Code&Math的缩放性质,以及不同Attention类型的缩放特性。可以预见,这一系列研究将为大语言模型的高效训练提供更全面的理论指导和实践工具,推动AI技术向更高效、更可控的方向发展。

相关资讯

大模型帮你写小说,阶跃星辰推出 Step-2“高性价比版”及“文学大师版”

阶跃星辰昨日上线了 Step-2 系列语言模型的两款新品 —— 参数量小、性价比更高的 Step-2 mini,以及专门针对内容创作领域推出的模型 Step 文学大师版。

阶跃星辰再拿多模态榜首,全方位升级发布六款模型

作者|朱可轩编辑|陈彩娴春节将近,各家厂商似乎都在争取休假前的最后一博,此时步入 2025 年也才半月有余,大模型玩家们已然卷上了新高度。 先是 OpenAI 打响了开年第一“枪”,ChatGPT 上线了新功能“Tasks”,主打提升了任务执行能力,之后国内一众厂商也先后发布了自家成果——月之暗面发布了全新的多模态图片理解模型 moonshot-v1-vision-preview;MiniMax 开源了基础语言模型 MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01;生数科技上新了视频大模型 Vidu 2.0;接着,智谱 AI 推出了端到端多模态大模型 GLM-Realtime;面壁智能带来了端侧多模态模型 MiniCPM-o 2.6;DeepSeek 开源了 DeepSeek-R1 推理模型......刚开年,模型更新便多到让人眼花缭乱,当中也不难发现,多模态、推理和端侧依旧是今年各家寻求突破的重点方向。 不得不提的是,在这一各厂商密集上新的“黄金节点”,AI 科技评论关注到,阶跃星辰一周内竟一口气批量更新了 6 款模型,全方位涵盖语言、语音、推理、图片理解、视频生成等多类别。

效果最佳!阶跃星辰开源Step-Video-T2V 视频生成模型

今日,阶跃星辰与吉利汽车集团宣布,联合开源两款阶跃Step系列多模态大模型——Step-Video-T2V视频生成模型和Step-Audio语音模型。 其中,阶跃Step-Video-T2V视频生成模型在参数量和性能上均处于全球领先水平。 该模型拥有300亿参数量,能够直接生成204帧、540P分辨率的高质量视频,确保生成内容信息密度高、一致性强。