涌现定律

LLM 规模扩展的一个根本性挑战是缺乏对涌现能力的理解。 特别是，语言模型预训练损失是高度可预测的。 然而，下游能力的可预测性要差得多，有时甚至会出现涌现跳跃（emergent jump），这使得预测未来模型的能力变得具有挑战性。