AI在线 AI在线

KV缓存

LLM高效推理：KV缓存与分页注意力机制深度解析

LLM高效推理：KV缓存与分页注意力机制深度解析
随着大型语言模型（LLM）规模和复杂性的持续增长，高效推理的重要性日益凸显。 KV（键值）缓存与分页注意力是两种优化LLM推理的关键技术。 本文将深入剖析这些概念，阐述其重要性，并探讨它们在仅解码器（decoder-only）模型中的工作原理。
2/25/2025 10:21:15 AM
Dewang Sultania
SCOPE：面向大语言模型长序列生成的双阶段KV缓存优化框架

SCOPE：面向大语言模型长序列生成的双阶段KV缓存优化框架
Key-Value (KV)缓存已成为大语言模型(LLM)长文本处理的关键性能瓶颈。 当前研究尚未充分关注解码阶段的优化，这一阶段具有同等重要性，因为：1、对需要完整上下文的场景，预填充阶段的过度压缩会显著降低模型的推理理解能力2、在长输出推理任务中存在重要特征的显著偏移现象这篇论文提出SCOPE框架，通过分离预填充与解码阶段的KV缓存优化策略，实现高效的缓存管理。 该框架保留预填充阶段的关键KV缓存信息，同时引入基于滑动窗口的新型策略，用于解码阶段重要特征的高效选取。
12/30/2024 1:13:35 PM
SACHIN KUMAR
  • 1