推测解码 - AI在线

GPT-4可能也在用的推测解码是什么？一文综述前世今生和应用情况

推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。针对如此妙的方法，香港理工大学、北京大学、MSRA 以及阿里共同推出了一篇关于推测解码的综述，帮助读者了解推测解码的前世今生和应用情况，值得一读。众所周知，大型语言模型（LLM）的推理通常需要使用自回归采样，这个推理过程相当缓慢。为了解决这个问题，推测解码（Speculative Decod