CMU Catalyst

近日，CMU Catalyst 团队推出了一篇关于高效 LLM 推理的综述，覆盖了 300 余篇相关论文，从 MLSys 的钻研视角介绍了算法创新和零碎优化两个方面的相关进展。在人工智能（AI）的快速发展背景下，大语言模型（LLMs）凭借其在语言相关任务上的杰出表现，已成为 AI 领域的重要推动力。然而，随着这些模型在各种运用中的普及，它们的复杂性和规模也为其摆设和效劳带来了前所未有的挑衅。LLM…