一直在用 Grok-2 的用户可能察觉到，这两天，它好像变快了：
上周，xAI 发布了 Grok-2 聊天机器人，并在 X 平台上以每月 8 美元的价格提供服务。
用户的感觉也不是错觉，Grok-2 的两个版本 Grok-2 和 Grok-2 mini（后者功能更弱但速度更快），确实都提高了分析信息和输出回复的速度。
xAI 的开发人员 Igor Babuschkin 发布了一条动态，揭示了这次提速背后的原因：
正如这条动态所说，他和 xAI 的另外两名开发人员 Lianmin Zheng 和 Saeed Maleki 奋战了三天，用 SGLang 重写了推理技术栈。
这次奋战的结果很理想：在评价人工智能模型性能的第三方 Lmsys Chatbot Arena 排行榜更新中，Grok-2 主模型在 6686 次投票中获得了 1293 分的成绩。这使得 Grok-2 成为世界上最强人工智能模型中的第二名，与谷歌的 Gemini-1.5 Pro 模型并列，仅次于 OpenAI 的最新版本 ChatGPT-4o，且超越了 GPT-4o（2024 年 5 月）。
图源：https://x.com/lmsysorg/status/1827041269534879784
Grok-2-mini 也受益于这次改进，排名上升到第 5 位，从 7266 票中获得了 1268 分的 Arena 分数，仅次于 GPT-4o mini 和 Claude 3.5 Sonnet。
努力没有白费，老板马斯克发来表扬：
根据 Babuschkin 在 X 上的回复，与完整的 Grok-2 模型相比，使用 Grok-2-mini 的主要优势在于速度更快。
Babuschkin 还承诺，xAI 会进一步提高 Grok-2-mini 的处理速度，这将使其成为寻求高性能、低计算开销的用户更有吸引力的选择。同时透露了一些关于 API 的消息：
当然，这让人们有些好奇，SGLang 为什么如此「效果显著」？
今年初，SGLang 刚刚诞生的时候，AI在线曾进行过报道（参见《吞吐量提升 5 倍，联合设计后端系统和前端语言的 LLM 接口来了》）。具体来说，这是一种用于执行复杂的语言模型程序的开源（Apache 2.0 授权）高效系统。SGLang 能够增强与 LLM 的交互，通过联合设计后端运行时系统和前端语言，使 LLM 更快、更可控。
SGLang 由加州大学伯克利分校、加州大学圣地亚哥分校以及卡内基梅隆大学的研究人员开发。
SGLang 目前支持 Llama、Mistral 和 LLaVA 等多种模型，兼容 OpenAI 的 GPT-4 等基于 API 的开放式模型。SGLang 能够在单个程序中通过自动缓存重用和并行来优化执行，这使它成为开发人员处理大规模语言模型的强大工具。
7 月底，团队还推出了全新的 SGLang Runtime v0.2。这是一个用于 LLM 和 VLM 的通用服务引擎。在运行 Llama 3.1 405B 时，它的吞吐量和延迟表现都优于 vLLM 和 TensorRT-LLM。在某些情况下（运行 Llama 系列模型），它的吞吐量甚至能达到 TensorRT-LLM 的 2.1 倍，vLLm 的 3.8 倍。
更多内容，可参见：《贾扬清点赞：3K star 量的 SGLang 上新，加速 Llama 405B 推理秒杀 vLLM、TensorRT-LLM》
