离线 - AI在线

逼近量化训练？块重建技术打造离线量化新极限

模型量化技术可以有效加速推理，已经成为人工智能芯片的标配，并在工业落地中广泛应用。离线量化（Post-Training Quantization）不需要耦合训练流程，使用成本和时间成本低，往往作为生产量化模型的首选方式，但其可调整空间有限，因此面临更大的准确度挑战，尤其是在一些特殊场景和极端要求下，不得不进一步引入更为复杂的在线量化（Quantization Aware Training）流程挽救，而这极大增加了量化模型生产的复杂度。如何在享受离线量化便捷高效的同时，在有限的调整“夹缝”中提升其效果上限，成为进一步打破技术红线的关键。在ICLR2021上，商汤科技研究院Spring工具链团队、高性能计算团队和成都电子科技大学顾实老师团队合作提出了块重建技术BRECQ，重新审视量化模型的优化粒度，首次将离线量化在4bit上的效果提升到在线量化的水平，相比在线量化可以节省大于200倍的生产时间，BRECQ在多种网络和任务上普遍取得了业界最佳效果，打造了离线量化的新极限。