AIBrix

字节跳动推出 AIBrix:全新开源推理系统专为大语言模型设计

字节跳动近日宣布开源其最新研发的 AIBrix 推理系统。 这一系统特别为 vLLM 推理引擎打造,目标是提供一个可扩展且高性价比的推理控制面,满足企业日益增长的 AI 需求。 AIBrix 的推出标志着一个新阶段的开始,项目团队希望通过这一开源项目为构建可扩展的推理基础设施奠定基础。
  • 1