超权重

去掉一个「超权重」的影响，比去掉其他 7000 个离群值权重加起来还要严重。 大模型的参数量越来越大，越来越聪明，但它们也越来越奇怪了。 两年前，有研究者发现了一些古怪之处：在大模型中，有一小部分特别重要的特征（称之为「超权重」），它们虽然数量不多，但对模型的表现非常重要。