呆板之心报道
呆板之心编辑部
PowerInfer 使得在消费级硬件上运转 AI 更加高效。
上海交大团队，刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。
项目地址：https://github.com/SJTU-IPADS/PowerInfer
论文地址：https://ipads.se.sjtu.edu.cn/_media/publications/powerinfer-20231219.pdf
速度有多快？
在运转 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上，PowerInfer 对比 llama.cpp 实现了 11 倍加速！
PowerInfer 和 llama.cpp 都在相同的硬件上运转，并充分行使了 RTX 4090 上的 VRAM。
在单个 NVIDIA RTX 4090 GPU 上的各种 LLM 中，PowerInfer 的平均 token 生成率为 13.20 个 token / 秒，峰值为 29.08 个 token / 秒，仅比顶级服务器级 A100 GPU 低 18%。
具体来说，PowerInfer 是一个用于本地部署 LLM 的高速推理引擎。它行使 LLM 推理中的高局部性来计划 GPU-CPU 融合推理引擎。其中热激活（hot-activated）神经元被预加载到 GPU 上以便快速访问，而冷激活（cold-activated）神经元（大部分）则在 CPU 上计算。这种方法显著减少了 GPU 内存需求和 CPU-GPU 数据传输。
PowerInfer 可以在配备单个消费级 GPU 的个人计算机 (PC) 上高速运转大型语言模型 (LLM) 。现在用户可以将 PowerInfer 与 Llama 2 和 Faclon 40B 结合使用，即将支持 Mistral-7B。
PowerInfer 计划的关键是行使 LLM 推理中固有的高度局部性，其特征是神经元激活中的幂律分布。
下图 7 展示了 PowerInfer 的架构概述，包括离线和在线组件。
这种分布表明，一小部分神经元（称为热神经元）跨输出一致激活，而大多数冷神经元则根据特定输出而变化。PowerInfer 行使这种机制计划了 GPU-CPU 融合推理引擎。
PowerInfer 进一步集成了自适应预测器和神经元感知希罕算子，优化了神经元激活和计算希罕性的效率。
看到这项研究后，网友激动的表示：单卡 4090 跑 175B 大模型不再是梦。
了解更多内容，请查看原论文。