离线

模型量化技术可以有效加速推理，已经成为人工智能芯片的标配，并在工业落地中广泛应用。离线量化（Post-Training Quantization）不需要耦合训练流程，应用成本和时间成本低，往往作为生产量化模型的首选方式，但其可调整空间有限，因此面临更大的准确度挑战，尤其是在一些特殊场景和极端要求下，不得不进一步引入更为复杂的在线量化（Quantization Aware Training）流程挽救…