-
大模型推理速度飙升3.6倍，「美杜莎」论文来了，贾扬清：最优雅加快推理方案之一
去年，在加快大语言模型推理层面，我们迎来了一个比揣测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今，关于 Medusa 终于有了完整技术论文，还提供了新的版本。如你我所知，在大型语言模型（LLM）的运行逻辑中，随着规模大小的增加，语言生成的质量会随着提高。不过，这也导致了推理延迟的增加，从而对实际应用构成了重大挑战。从系统角度来看，LLM 推理主要受内存限制，主要…- 6
- 0
扫码打开当前页
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×