推断解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理减速步骤。它可以在不损失生成效果前提下，获得 3 倍以上的减速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。针对如此妙的步骤，香港理工大学、北京大学、MSRA 以及阿里共同推出了一篇关于推断解码的综述， 帮助读者了解推断解码的前世今生和利用情况，值得一读。
众所周知，大型言语模型（LLM）的推理通常需要使用自返回采样，这个推理过程相当缓慢。为了解决这个问题，推断解码（Speculative Decoding）已经成为 LLM 推理的一种新型采样步骤。这种步骤在每个采样步骤中，会先预测几个可能的 token，然后并行地考证是否准确。与自返回解码不同，推断解码能够单步解码多个 token，从而减速推理。
虽然推断解码可以大有作为，但也引出了一些需要进一步调研的关键问题。首先需要考虑如何选择或设计类似模型，以在推断准确性和生成效率之间取得平衡。其次，有必要考虑评价标准是否能够保持生成多样性和输入质量。最后，应仔细考虑对齐类似模型和方针大模型之间的推理过程，以提高推理准确性。
基于上述问题，来自香港理工大学、北京大学、MSRA 以及阿里的研究者对推断解码进行了全面的调研。机器之心进行了归纳整理。
论文标题：Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding
论文地址：https://arxiv.org/pdf/2401.07851.pdf
推断解码的演化之路
本文首先深入介绍了推断解码的早期研究情况，并通过其演变的时间表进行了说明（如下图 2 所示）。
分块采样（Blockwise Decoding）是一种在 Transformer 解码器上集成额外前馈神经（FFN）头的步骤，能够单步生成多个 token。
为了进一步释放分块采样算法的潜力，推断解码的方案被提了出来。这种算法包含一个独立的类似模型，通常是一个专门的非自返回 Transformer，能准确高效地执行生成任务。
继推断解码出现之后，有学者接着提出了「投机采样算法」（Speculative Sampling），在推断解码中加入了无损减速核采样。
简而言之，这些在推断解码方面的开创性努力已经逐渐巩固了 Draftthen-Verify 范式，展示了其在 LLM 减速方面的巨大潜力。
公式和定义
本节首先简要概述了标准自返回解码的实质，然后深入阐述了推断解码算法，包括对形式定义、步骤论的全面描述以及算法的详细阐述。
本文提出了一个组织框架来对相关研究进行分类，如下图 3 所示。
本文在前人的基础上，对「推断解码算法」再次进行了正式的定义：
推断解码算法是一种先生成后考证的解码模式，在每个解码步骤，它首先需要能生成多个可能的 token，然后使用方针大言语模型并行地评价所有这些 token，以加快推理速度。算法表 2 是一个详细的推断解码过程。
随后，本文深入研究了这一范式不可或缺的两个基本子步骤 —— 生成和评价。
生成
在每个解码步骤中，推断解码算法首先会生成多个可能的 token，作为对方针大言语模型的输入实质的推断。
本文将生成的实质分为两类：独立生成（independent drafting ）和自生成（self-drafting），并在下表 1 中归纳了其公式。
考证
在每个解码步骤中，并行地考证类似模型生成的 token，以确保输入质量与方针大言语模型高度一致。这个过程还确定了每一步可允许的 token 数量，这是一个能够影响减速情况的一个重要因素。
对各种考证标准的归纳如下表 2 所示，包括那些在大言语模型推理中支持贪心解码和核采样的标准。
生成和考证的子步骤会持续迭代，直到满足终止条件为止，即 [EOS] token 被解码或句子达到最大长度。
此外，本文引入了 token 的树考证算法，这是一种逐步提高 token 接受度的有效战略。
模型对齐
提高推断准确性是减速推断解码的关键：类似模型的预测行为越接近方针大言语模型，对其生成 token 的接受率就越高。为此，现有的工作探索了各种知识提取（KD）战略，以使类似模型的输入实质与方针大言语模型的输入实质保持一致。
分块解码首先采用序列级知识提取（Seq-KD）来进行模型对齐，用方针大言语模型生成的句子训练类似模型。
此外，Seq-KD 也是提高并行解码生成质量的有效战略，提高了并行解码的生成性能。
下表 3 中归纳了现有推断解码步骤的主要特征，包括类似模型的类型或生成战略、模型对齐步骤、支持的评价战略和减速程度等情况。
利用
除了作为一种通用范式外，最近的工作还表明，推断解码的一些变体在特定任务中表现出非凡的有效性。此外，其他研究已经将这种范式利用于解决某些利用场景特有的延迟问题，从而实现推理减速。
例如，有些学者认为，推断解码特别适合于模型输入和输入高度相似的任务，如语法纠错和检索增强生成。
除了这些工作之外，RaLMSpec（Zhang et al., 2023b）用推断解码来减速检索增强言语模型（RaLMs）。
机遇与挑战
问题 1：如何权衡预测实质的准确性和生成效率？尽管目前对这个问题取得了一些进展，但在使类似模型与方针大言语模型生成实质保持一致方面仍有相当大的改进空间。除了模型对齐之外，其他因素（如生成质量和预测长度的确定）也会影响推断的准确性，值得进一步探索。
问题 2：如何将推断解码与其他领先技术相结合？作为一种通用的解码模式，推断解码已经与其他先进技术相结合，展示了其潜力。除了减速纯文本的大言语模型之外，推断解码在多模式推理中的利用，如图像合成、文本到语音合成和视频生成，也是未来研究的一个有趣而有价值的方向。
更多细节实质请参阅原论文。