AI在线 AI在线

EAGLE

大模型推理无损加速6.5倍！EAGLE-3碾压一切、延续Scaling Law能力

大模型推理无损加速6.5倍！EAGLE-3碾压一切、延续Scaling Law能力
自回归解码已然成为大语言模型的推理标准。 大语言模型每次前向计算需要访问它全部的参数，但只能得到一个 token，导致其生成昂贵且缓慢。 近日，EAGLE 团队的新作《EAGLE-3: Scaling up Inference Acceleration of Large Language Models via Training-Time Test》通过一系列优化解锁了投机采样的 Scaling Law 能力，可以将大语言模型的推理速度提高 6.5 倍，同时不改变大语言模型的输出分布，确保无损。
4/10/2025 11:12:00 AM
机器之心
大模型推理效率无损提升3倍，滑铁卢大学、北京大学等机构发布EAGLE

大模型推理效率无损提升3倍，滑铁卢大学、北京大学等机构发布EAGLE
大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则：每个词（token）的生成都需要进行一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。近日，滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布 EAGLE，旨在提升大语言模型的推理速度，同时保证模型输出文本的分布一致。这种方法外推 LLM 的第二顶层特征向量，能够显著提升生成效率。技术报告：（支持商用 Apache 2.0）： 具有以下特点：比普通自回归解码（
12/14/2023 2:26:00 PM
机器之心
  • 1