EAGLE
大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE
大语言模型(LLM)被越来越多应用于各种领域。然而,它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则:每个词(token)的生成都需要进行一次前向传播,需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。近日,滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布 EAGLE,旨在提升大语言模型的推理速度,同时保证模型输出文本的分布一致。这种方法外推 LLM 的第二顶层特征向量,能够显著提升生成效率。技术报告:(支持商用 Apache 2.0): 具有以下特点:比普通自回归解码(
12/14/2023 2:26:00 PM
机器之心
- 1
资讯热榜
标签云
人工智能
OpenAI
AIGC
AI
ChatGPT
AI绘画
DeepSeek
数据
机器人
谷歌
大模型
Midjourney
模型
智能
用户
学习
GPT
开源
微软
AI创作
图像
Meta
技术
论文
Stable Diffusion
马斯克
算法
生成式
蛋白质
Gemini
芯片
代码
神经网络
腾讯
计算
研究
Sora
AI设计
英伟达
3D
AI for Science
GPU
开发者
机器学习
场景
预测
华为
Anthropic
伟达
Transformer
模态
百度
深度学习
AI视频
驾驶
文本
苹果
搜索
神器推荐
LLaMA
算力
xAI
Copilot
人形机器人
安全
科技
视频生成
应用
字节跳动
具身智能
干货合集
2024
视觉
大语言模型
AGI
特斯拉
Claude
亚马逊
语音
AI应用场景