SliceGPT

简略权重矩阵的一些行和列，让 LLAMA-2 70B 的参数量减少 25%，模型还能保持 99% 的零样本任务机能，同时算计效率大大提升。这就是微软 SliceGPT 的威力。大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据从事训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的算计需求。一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分…