EAGLE

大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成流程既昂贵又缓慢。这种低效率归因于自返回解码的运算规则：每个词（token）的生成都需要从事一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自返回解码的速度较慢。近日，滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布 EAGLE，旨在提升大语言模型的推理速度，同时保证模型输入文本的散布一致。这种格式外推 LLM 的…