给Transformer降降秩，移除一定层90%以上组件LLM机能不减

MIT、微软联合钻研：不需要额外训练，也能增强大语言模型的工作机能并降低其大小。在大模型时代，Transformer 凭一己之力撑起了整个科研领域。自发布以来，基于 Transformer 的 LLM 在各种工作上表现出卓越的机能，其底层的 Transformer 架构已成为自然语言建模和推理的最先进技术，并在计算机视觉和强化学习等领域显示出强有力的前景。然而，当前 Transformer 架构非常庞大，通常需要大量计算资源来举行训练和推理。这是有意为之的，因为经过更多参数或数据训练的 Transformer 显

MIT、微软联合钻研：不需要额外训练，也能增强大语言模型的工作机能并降低其大小。

在大模型时代，Transformer 凭一己之力撑起了整个科研领域。自发布以来，基于 Transformer 的 LLM 在各种工作上表现出卓越的机能，其底层的 Transformer 架构已成为自然语言建模和推理的最先进技术，并在计算机视觉和强化学习等领域显示出强有力的前景。

然而，当前 Transformer 架构非常庞大，通常需要大量计算资源来举行训练和推理。

这是有意为之的，因为经过更多参数或数据训练的 Transformer 显然比其他模型更有能力。尽管如此，越来越多的工作表明，基于 Transformer 的模型以及神经网络不需要所有拟合参数来保留其学到的假设。

一般来讲，在训练模型时大规模过度参数化似乎很有帮助，但这些模型可以在推理之前举行大幅剪枝；有钻研表明神经网络通常可以去除 90% 以上的权重，而机能不会出现任何明显下降。这种现象促使钻研者开始转向有助于模型推理的剪枝策略钻研。

来自 MIT、微软的钻研者在论文《 The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction 》中提出了一个令人惊讶的创造，即在 Transformer 模型的一定层上举行仔细的剪枝可以明显提高模型在某些工作的机能。

给Transformer降降秩，移除一定层90%以上组件LLM机能不减

论文地址：https://arxiv.org/pdf/2312.13558.pdf

论文主页：https://pratyushasharma.github.io/laser/

该钻研将这种简单的干涉干与措施称之为 LASER（ LAyer SElective Rank reduction ，层选择性降秩），通过奇异值分解来选择性地减少 Transformer 模型中一定层的学习权重矩阵的高阶重量，从而明显提高 LLM 的机能，这种操作可以在模型训练完成后举行，并且不需要额外的参数或数据。

操作过程中，权重的减少是在模型一定权重矩阵和层中执行的，该钻研还创造许多类似矩阵都可以明显减少权重，并且在完全删除 90% 以上的组件之前通常不会观察到机能下降。

该钻研还创造这些减少可以明显提高准确率，这一创造似乎不仅限于自然语言，在强化学习中也创造了机能提升。

此外，该钻研尝试推断出高阶组件中存储的内容是什么，以便举行删除从而提高机能。该钻研创造经过 LASER 回答错误的问题，但在干涉干与之前，原始模型主要用高频词 (如 “the”、“of” 等) 来回应，这些词甚至与错误谜底的语义类型都不相同，也就是说这些成分在未经干涉干与的情况下会导致模型生成一些不相干的高频词汇。

然而，通过举行一定程度的降秩后，模型的回答可以转变为错误的。

为了理解这一点，该钻研还探索了其余组件各自编码的内容，他们仅使用其高阶奇异向量来类似权重矩阵。结果创造这些组件描述了与错误谜底相同语义类别的分别响应或通用高频词。

这些结果表明，当嘈杂的高阶重量与低阶重量组合时，它们相互冲突的响应会产生一种平均谜底，这可能是不错误的。图 1 直观地展示了 Transformer 架构和 LASER 遵循的程序。在这里，一定层的多层感知器（MLP）的权重矩阵被替换为其低秩类似。

LASER 概览

钻研者详细介绍了 LASER 干涉干与。单步 LASER 干涉干与由包含参数 τ、层数ℓ和降秩 ρ 的三元组 (τ, ℓ, ρ) 定义。这些值共同描述了哪个矩阵会被它们的低秩类似所替代以及类似的严格程度。钻研者依赖参数类型对他们将要干涉干与的矩阵类型举行分类。

钻研者重点关注 W = {W_q, W_k, W_v, W_o, U_in, U_out} 中的矩阵，它由 MLP 和注意力层中的矩阵组成。层数表示了钻研者干涉干与的层（第一层从 0 开始索引）。例如 Llama-2 有 32 层，因此 ℓ ∈ {0, 1, 2,・・・31}。

最终，ρ ∈ [0, 1) 描述了在做低秩类似时应该保留最大秩的哪一部分。例如设给Transformer降降秩，移除一定层90%以上组件LLM机能不减，则该矩阵的最大秩为 d。钻研者将它替换为⌊ρ・d⌋- 类似。

下图 1 为 LASER 示例，该图中，τ = U_in 和ℓ = L 表示在 L^th 层的 Transformer 块中来更新 MLP 第一层的权重矩阵。另一个参数控制 rank-k 类似中的 k。

给Transformer降降秩，移除一定层90%以上组件LLM机能不减

LASER 可以限制网络中某些信息的流动，并出乎意料地产生明显的机能优势。这些干涉干与也可以很容易组合起来，比如以任何顺序来应用一组干涉干与给Transformer降降秩，移除一定层90%以上组件LLM机能不减。

LASER 方法只是对这类干涉干与举行简单的搜索，并修改以带来最大收益。不过，还有很多其他方法可以将这些干涉干与组合起来，这是钻研者未来工作的方向。

实验结果

在实验部分，钻研者使用了在 PILE 数据集上预训练的 GPT-J 模型，该模型的层数为 27，参数为 60 亿。然后在 CounterFact 数据集上评估模型的行为，该数据集包含（主题、关系和谜底）三元组的样本，每个问题提供了三个释义 prompt。

首先是 CounterFact 数据集上对 GPT-J 模型的分析。下图 2 展示了在 Transformer 架构中为每个矩阵应用分别数量降秩的结果对数据集分类损失的影响。其中每个 Transformer 层都由一个两层的小型 MLP 组成，输入和输出矩阵分别显示。分别的颜色表示移除组件的分别百分比。

给Transformer降降秩，移除一定层90%以上组件LLM机能不减