模型量化

模型量化是模型压缩与加速中的一项关键技术，其将模型权重与激活值量化至低 bit，以允许模型占用更少的内存开支并加快推理速度。对于具有海量参数的大言语模型而言，模型量化显得更加重要。例如，GPT-3 模型的 175B 参数当使用 FP16 格式加载时，需消耗 350GB 的内存，需要至少 5 张 80GB 的 A100 GPU。但若是可以将 GPT-3 模型的权重压缩至 3bit，则可以实现单张 A…

近期，清华大学和哈尔滨工业大学联合发布了一篇论文：把大模型紧缩到 1.0073 个比特时，仍然能使其保持约 83% 的本能！自从大模型火爆出圈以后，人们对紧缩大模型的愿望从未消减。这是因为，虽然大模型在很多方面表现出优秀的威力，但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」 通过把大模型的参数转化为低位宽的表示，进而节省空间占用。目前，主流格式可以在几乎…