StreamingLLM
多轮对话推理速度提升46%,开源方案打破LLM多轮对话的长度限制
在大型语言模型(LLM)的世界中,处理多轮对话一直是一个挑战。前不久麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM,能够在不牺牲推理速度和生成效果的前提下,可实现多轮对话总共 400 万个 token 的流式输入,22.2 倍的推理速度提升。但 StreamingLLM 使用原生 PyTorch 实现,对于多轮对话推理场景落地应用的低成本、低延迟、高吞吐等需求仍有优化空间。Colossal-AI 团队开源了 SwiftInfer,基于 TensorRT 实现了 StreamingLLM
1/8/2024 3:22:00 PM
机器之心
- 1
资讯热榜
标签云
人工智能
OpenAI
AIGC
AI
ChatGPT
AI绘画
DeepSeek
机器人
数据
谷歌
大模型
Midjourney
智能
模型
用户
学习
GPT
开源
微软
AI创作
图像
Meta
技术
论文
Stable Diffusion
马斯克
算法
生成式
蛋白质
芯片
Gemini
代码
神经网络
计算
腾讯
研究
Sora
AI设计
3D
开发者
英伟达
GPU
AI for Science
机器学习
场景
预测
华为
伟达
Transformer
Anthropic
模态
百度
深度学习
驾驶
AI视频
文本
苹果
搜索
神器推荐
算力
LLaMA
Copilot
安全
科技
xAI
视频生成
应用
字节跳动
干货合集
人形机器人
具身智能
2024
特斯拉
视觉
亚马逊
语音
大语言模型
AGI
Claude
AI应用场景