KV

什么 AI 应用每秒处理 20000 个 AI 推理要求，达到 2024 年google搜索流量的 1/5？答案是独角兽 Character.ai，由 Transformer 作者 Noam Shazeer（后面简称沙哥）创办。刚刚，沙哥公布了推理优化独门窍门，迅速引起业界热议。具体来说 Character.ai 在整个服务堆栈中实现了如下成绩：内存高效架构设计：将 KV 缓存巨细增加 20 倍以…

2023 年，大型 语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，必要大量的估计资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。最近，一位名为 Theia Vogel 的博主整理撰写了一篇长文博客，对加速 LLM 推理的方法进行了全面的总结，对各种方法展开了详细的介绍，值得 LLM 研究人员收藏查阅。以下是博…