清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

近期,清华大学和哈尔滨工业大学联合发布了一篇论文:把大模型紧缩到 1.0073 个比特时,仍然能使其保持约 83% 的本能!自从大模型火爆出圈以后,人们对紧缩大模型的愿望从未消减。这是因为,虽然大模型在很多方面表现出优秀的威力,但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」 通过把大模型的参数转化为低位宽的表示,进而节省空间占用。目前,主流格式可以在几乎不受益模型本能的情况下把已有模型紧缩至 4bit。然而,低于 3bit 的量化像一堵不可逾越的高墙,让研究人员望而生畏。

近期,清华大学和哈尔滨工业大学联合发布了一篇论文:把大模型紧缩到 1.0073 个比特时,仍然能使其保持约 83% 的本能!

自从大模型火爆出圈以后,人们对紧缩大模型的愿望从未消减。这是因为,虽然大模型在很多方面表现出优秀的威力,但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」 通过把大模型的参数转化为低位宽的表示,进而节省空间占用。目前,主流格式可以在几乎不受益模型本能的情况下把已有模型紧缩至 4bit。然而,低于 3bit 的量化像一堵不可逾越的高墙,让研究人员望而生畏。

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!                                         图 1 : 量化模型的困惑度在 2bit 时迅速上升

近期,一篇由清华大学、哈尔滨工业大学合作发表在 arXiv 上的论文为突破这一阻碍带来了希望,在国内外学术圈引起了不小的关注。这篇论文也在一周前登上 huggingface 的热点论文,并被著名论文推荐师 AK 推荐。研究团队直接越过 2bit 这一量化级别,大胆地进行了 1bit 量化的尝试,这在模型量化的研究中尚属首次

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

论文标题:OneBit: Towards Extremely Low-bit Large Language Models

论文地址:https://arxiv.org/pdf/2402.11295.pdf

作家提出的格式称作 「OneBit」,非常贴切地形容了这一工作的本质:把预训练大模型紧缩到真正的 1bit。该论文提出了模型参数 1bit 表示的新格式,以及量化模型参数的初始化格式,并通过量化感知训练(QAT)把高精度预训练模型的威力迁徙至 1bit 量化模型。实验表明,这一格式能够在极大幅度紧缩模型参数的同时,保证 LLaMA 模型至少 83% 的本能。

作家指出,当模型参数紧缩至 1bit 后,矩阵乘法中的 「元素乘」将不复存在,取而代之的是更快速的 「位赋值」操作,这将大大提升计算效率。这一研究的重要意义在于,它不但跨越了 2bit 量化的鸿沟,也使在 PC 和智能手机上部署大模型成为可能。

已有工作的局限性

模型量化主要通过把模型的 nn.Linear 层(Embedding 层和 Lm_head 层除外)转化为低精度表示实现空间紧缩。此前工作 [1,2] 的基础是利用 Round-To-Nearest(RTN)格式把高精度浮点数近似映射到附近的整数网格。这可以被表示成清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

然而基于 RTN 的格式在极低位宽时(3bit 以下)存在严重的精度受益问题,量化后的模型威力受益十分严重。特别是,量化后参数以 1bit 表示时,RTN 中的缩放系数 s 和零点 z 会失去实际意义。这导致基于 RTN 的量化格式在 1bit 量化时几乎失效,难以有效地保留原模型的本能。

此外,此前的研究中也曾对 1bit 模型可能采用什么构造进行过探索。几个月前的工作 BitNet [3] 通过让模型参数通过 Sign (・) 函数并转为 + 1/-1 来实现 1bit 表示。但这一格式存在本能受益严重、训练过程不稳定的问题,限制了其实际应用。

OneBit 框架

OneBit 的格式框架包括全新的 1bit 层构造、基于 SVID 的参数初始化格式和基于量化感知学问蒸馏的学问迁徙。

1. 新的 1bit 构造

OneBit 的终极目标是将 LLMs 的权重矩阵紧缩到 1bit。真正的 1bit 要求每个权重值只能用 1bit 表示,即只有两种可能的状态。作家认为,在大模型的参数中,有两个重要因素都必须被考虑进来,那就是浮点数的高精度和参数矩阵的高秩。

因此,作家引入两个 FP16 格式的值向量以补偿由于量化导致的精度受益。这种设计不仅保持了原始权重矩阵的高秩,而且通过值向量提供了必要的浮点精度,有助于模型的训练和学问迁徙。1bit 线性层的构造与 FP16 高精度线性层的构造对比如下图:

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

                                  图 3 : FP16 线性层与 OneBit 线性层的对比

左侧的 (a) 是 FP16 精度模型构造,右侧的 (b) 是 OneBit 框架的线性层。可见,在 OneBit 框架中,只有值向量 g 和 h 保持 FP16 格式,而权重矩阵则全部由 ±1 组成。这样的构造兼顾了精度和秩,对保证稳定且高质量的学习过程很有意义。

OneBit 对模型的紧缩幅度究竟如何?作家在论文中给了一个计算。假设对一个 4096*4096 的线性层进行紧缩,那么 OneBit 需要一个 4096*4096 的 1bit 矩阵,和两个 4096*1 的 16bit 值向量。这里面总的位数为 16,908,288,总的参数个数为 16,785,408,平均每个参数占用仅仅约 1.0073 个 bit。这样的紧缩幅度是空前的,可以说是真正的 1bit 大模型。

2. 基于 SVID 初始化量化模型

为了使用充分训练好的原模型更好地初始化量化后的模型,进而促进更好的学问迁徙效果,作家提出一种新的参数矩阵分析格式,称为 「值 – 符号独立的矩阵分析(SVID)」。这一矩阵分析格式把符号和绝对值分开,并把绝对值进行秩 – 1 近似,其逼近原矩阵参数的方式可以表示成:

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

这里的秩 – 1 近似可以通过常见的矩阵分析方式实现,例如奇异值分析(SVD)和非负矩阵分析(NMF)。而后,作家在数学上给出这种 SVID 格式可以通过交换运算次序来和 1bit 模型框架相匹配,进而实现参数初始化。并且,论文还证明了符号矩阵在分析过程中确实起到了近似原矩阵的作用。

3. 通过学问蒸馏迁徙原模型威力

作家指出,解决大模型超低位宽量化的有效途径可能是量化感知训练 QAT。在 OneBit 模型构造下,通过学问蒸馏从未量化模型中学习,实现威力向量化模型的迁徙。具体地,学生模型主要接受教师模型 logits 和 hidden state 的指导。

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

训练时,值向量和矩阵的值会被更新。模型量化完成后,直接把 Sign (・) 后的参数保存下来,在推理和部署时直接使用。

实验及结果

OneBit 与 FP16 Transformer、经典的训练后量化强基线 GPTQ、量化感知训练强基线 LLM-QAT 和最新的 2bit 权重量化强基线 OmniQuant 进行了比较。此外,由于目前还没有 1bit 权重量化的研究,作家只对自己的 OneBit 框架使用了 1bit 权重量化,而对其他格式采取 2bit 量化设置,属于典型的 「以弱胜强」。

在模型选择上,作家也选择了从 1.3B 到 13B 不同大小、OPT 和 LLaMA-1/2 不同系列的模型来证明 OneBit 的有效性。在评价指标上,作家沿用了以往模型量化的两大评价维度:验证集的困惑度和常识推理的 Zero-shot 准确度。

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!                                表 1 : OneBit 与基线格式的效果比较(OPT 模型与 LLaMA-1 模型)

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

                                表 2 : OneBit 与基线格式的效果比较(LLaMA-2 模型)

 

表 1 和表 2 展示出了 OneBit 相比于其他格式在 1bit 量化时的优势。就量化模型在验证集的困惑度而言,OneBit 与 FP16 模型最为接近。就 Zero-shot 准确度而言,除 OPT 模型的个别数据集外,OneBit 量化模型几乎取得了最佳的本能。其余的 2bit 量化格式在两种评价指标上呈现较大的受益。

值得注意的是,OneBit 在模型越大时,效果往往越好。也就是说,随着模型规模增大,FP16 精度模型在困惑度降低上收效甚微,但 OneBit 却表现出更多的困惑度下降。此外,作家还指出量化感知训练对于超低位宽量化或许十分有必要。

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

                                                  图 4 : 常识推理任务对比

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

                                                       图 5 : 世界学问对比

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

                                                   图 6 : 几种模型的空间占用和平均位宽

图 4 – 图 6 还对比了几类小模型的空间占用和本能受益,它们是通过不同的途径获得的:包括两个充分训练的模型 Pythia-1.0B 和 TinyLLaMA-1.1B,以及通过低秩分析获得的 LowRank Llama 和 OneBit-7B。可以看出,尽管 OneBit-7B 有最小的平均位宽、占用最小的空间,它在常识推理威力上仍然优于不逊于其他模型。作家同时指出,模型在社会科学领域面临较严重的学问遗忘。总的来说,OneBit-7B 展示出了其实际应用价值。正如图 7 所展示的,OneBit 量化后的 LLaMA-7B 模型经过指令微调后,展示出了流畅的文本生成威力。

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

                                图 7 : OneBit 框架量化后的 LLaMA-7B 模型的威力

讨论与分析

1. 效率

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!                                 表 3 : OneBit 在不同 LLaMA 模型的紧缩比

表 3 给出的是 OneBit 对不同规模 LLaMA 模型的紧缩比。可以看出,OneBit 对模型的紧缩比均超过 90%,这一紧缩威力是史无前例的。其中值得注意的是,随着模型增大,OneBit 的紧缩比越高,这是由于 Embedding 层这种不参与量化的参数占比越来越小。前文提到,模型越大,OneBit 带来的本能增益越大,这显示出 OneBit 在更大模型上的优势。

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

                                            图 8 : 模型大小与本能的权衡

虽然超低比特量化可能会导致一定的本能受益,但如图 8 所示,它在大小和本能之间达到了良好的平衡。作家认为,紧缩模型的大小十分重要,特别是在移动设备上部署模型时。

此外,作家还指出了 1bit 量化模型在计算上的优势。由于参数是纯二进制的,可以用 0/1 在 1bit 内表示,这毫无疑问地节省大量的空间。高精度模型中矩阵乘法的元素相乘可以被变成高效的位运算,只需位赋值和加法就可以完成矩阵乘积,非常有应用前景。

2. 鲁棒性

二值网络普遍面临训练不稳定、收敛困难的问题。得益于作家引入的高精度值向量,模型训练的前向计算和后向计算均表现的十分稳定。BitNet 更早地提出 1bit 模型构造,但该构造很难从充分训练的高精度模型中迁徙威力。如图 9 所示,作家尝试了多种不同的学习率来测试 BitNet 的迁徙学习威力,发现在教师指导下其收敛难度较大,也在侧面证明了 OneBit 的稳定训练价值。

清华、哈工大把大模型紧缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!                                     图 9 : BitNet 在多种不同学习率下的训练后量化威力

论文的最后,作家还建议了超低位宽未来可能得研究方向。例如,寻找更优的参数初始化格式、更少的训练代价,或进一步考虑激活值的量化。

更多技术细节请查看原论文。

[1] Dettmers T, Lewis M, Belkada Y, et al. Llm. int8 (): 8-bit matrix multiplication for transformers at scale [J]. arXiv preprint arXiv:2208.07339, 2022.

[2] Frantar E, Ashkboos S, Hoefler T, et al. GPTQ: Accurate post-training quantization for generative pre-trained transformers [J]. arXiv preprint arXiv:2210.17323, 2022.

[3] Wang H, Ma S, Dong L, et al. Bitnet: Scaling 1-bit transformers for large language models [J]. arXiv preprint arXiv:2310.11453, 2023.

给TA打赏
共{{data.count}}人
人已打赏
应用

大一统视频编纂框架:浙大&微软推出UniEdit,无须训练、支持多种编纂场景

2024-3-4 11:43:00

应用

RNN效率媲美Transformer,谷歌新架构两连发:同等规模强于Mamba

2024-3-4 12:03:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索