AI在线 AI在线

SGLang

当开源创新遇上推理革命：SGLang如何炼就DeepSeek最强开源推理引擎？

当开源创新遇上推理革命：SGLang如何炼就DeepSeek最强开源推理引擎？
2025 年开年，DeepSeek R1 和 V3 重磅发布，其超强的语言建模与推理能力，引爆了全球 AI 社区。 与此同时，一个隐藏在超大规模模型身后的技术命题浮出水面：如何让千亿参数超大规模 AI 模型真正达到商业级推理速度？ 这一问题的答案，隐藏在推理引擎 SGLang 的代码仓库中。
3/6/2025 9:04:00 PM
机器之心
吞吐量提升5倍，联合设计后端系统和前端语言的LLM接口来了

吞吐量提升5倍，联合设计后端系统和前端语言的LLM接口来了
大型语言模型 (LLM) 越来越多地用于需要多个链式生成调用、高级 prompt 技术、控制流以及与外部环境交互的复杂任务。然而，用于编程和执行这些应用程序的现有高效系统存在着明显的缺陷。现在，开源社区的研究者们面向 LLM 提出了一种结构化生成语言（Structured Generation Language）——SGLang。SGLang 能够增强与 LLM 的交互，通过联合设计后端运行时系统和前端语言，使 LLM 更快、更可控。机器学习领域知名学者、CMU 助理教授陈天奇还转发了这项研究。总的来说，SGLan
1/19/2024 11:27:00 AM
机器之心
  • 1