DeepSeek 默默地在自己的 open-infra-index 库中发布了一份题为「开源 DeepSeek 推理引擎的路径」的文档,宣布将开源自己的内部推理引擎(internal inference engine)并与开源社区建立更广泛的合作。有意思的是,该文档发布之后不久就经历了两次修改,对一些措辞和表述进行了更加中立和宽泛的处理。
在其中一次修改中,DeepSeek 提到了与 SGLang 和 vLLM 项目的合作关系,但这两个具体的项目名称在新版本中被替换成了「现有的开源项目」。修改原因是为了强调「未来的开源合作是面向整个开源社区的,不局限于具体某些项目。」因此,DeepSeek 与 SGLang 和 vLLM 这两大开源项目的合作关系应该是已经确定了。
不得不说,DeepSeek 非常 GOAT(Greatest of All Time)!
而就在不久前,Sam Altman 才宣布 OpenAI 将开始一轮发布周。犹记得上一次,在 OpenAI 一连 12 个工作日的连续发布中,o1 满血版、Sora、强化微调技术、Canvas 更新、o3-mini 等产品和服务纷纷问世。不知道,这一次,OpenAI 又将发布什么东西?
事实上,各路网友已经开始根据各种草蛇灰线的线索开始猜测这一周将会发布的东西了。说实在的,有一些颇具说服力,而且还有证据。
下面我们首先将介绍「开源 DeepSeek 推理引擎的路径」,然后将简单盘点一番网友对 OpenAI 这周发布内容的预测。
开源 DeepSeek 推理引擎的路径
文档地址:https://github.com/deepseek-ai/open-infra-index/blob/main/OpenSourcing_DeepSeek_Inference_Engine/README.md
以下为 DeepSeek 发布的文档的原文译本:
几周前,在开源周期间,我们开源了多个库。社区的反响非常积极 —— 激发了鼓舞人心的合作、富有成效的讨论以及宝贵的错误修复。受此鼓舞,我们决定更进一步:将我们的内部推理引擎回馈给开源社区。
我们非常感谢开源生态系统,没有它,我们不可能在通用人工智能 (AGI) 方面取得进展。我们的训练框架依赖于 PyTorch,我们的推理引擎基于 vLLM,这两者都对加速 DeepSeek 模型的训练和部署起到了重要作用。
鉴于部署 DeepSeek-V3 和 DeepSeek-R1 等模型的需求日益增长,我们希望尽己所能回馈社区。在我们起初考虑将完整的内部推理引擎开源时,我们发现了一些挑战:
- 代码库差异:我们的引擎基于 vLLM 一年多前的一个早期分支。虽然结构相似,但我们针对 DeepSeek 模型对其进行了大量定制化处理,因此难以扩展到更广泛的用例。
- 基础设施依赖:该引擎与我们的内部基础设施(包括集群管理工具)紧密耦合,如果不进行重大修改,就无法进行公开部署。
- 维护带宽有限:作为一个专注于开发更优质模型的小型研究团队,我们缺乏维护大型开源项目的带宽。
考虑到这些挑战,我们决定采用一种更可持续的替代方案:与现有的开源项目合作。
展望未来,我们将在以下方面与现有的开源项目紧密合作:
- 提取出分立的功能:将可复用的组件模块化并作为独立的软件库贡献出来。
- 共享优化:直接贡献设计改进和实现细节。
我们衷心感谢开源运动 —— 从操作系统和编程语言到机器学习框架和推理引擎。能够为这个蓬勃发展的生态系统做出贡献,并看到我们的模型和代码受到社区的广泛欢迎,我们深感荣幸。让我们携手突破通用人工智能 (AGI) 的界限,并确保其造福全人类。
注:需要说明,本文仅概述了我们开源 DeepSeek-Inference-Engine 代码库的路径。对于未来的模型发布,我们将对开源社区和硬件合作伙伴保持开放和协作的态度。我们承诺在新模型发布之前主动同步与推理(inference)相关的工程工作,目标是使社区能够从第一天起就获得 SOTA 级支持。我们的最终目标是建立一个同步的生态系统,使尖端的 AI 功能能够在模型正式发布后无缝地应用于各种硬件。
OpenAI 将发布什么?
看了 DeepSeek 振奋人心的开源路径,再来看看 OpenAI 是否有可能给我们带来类似的震撼。
o3、o4-mini、GPT-4.1 系列模型
对于 OpenAI 这次发布周,目前最可信的信息还是来自 OpenAI 自己,其已经在自家的 CDN(内容分发网络)上发布了一些图标,几乎明示了即将发布的一系列模型。从目前网友们收集到的数据看,OpenAI 这一次一共公布了至少 5 个图标:
但从这些图标看,OpenAI 有可能在今晚开始的发布周中发布至少 5 个模型,包括 o3 满血版与 o4-mini 两个推理模型以及 GPT-4.1 系列模型(包括满血版、mini 以及 nano)版。
开源模型
此外,还有人猜测 OpenAI 可能会开源一个可与 DeepSeek-R1 比肩的开源模型,而且这个模型很可能就是已经在 OpenRouter 上线且可免费使用的 Optimus Alpha。该模型支持 100 万上下文长度,网友实测其编程性能非常好。
地址:https://openrouter.ai/openrouter/optimus-alpha
理由之一是如果用户让 Optimus Alpha 介绍自己,他会自称是来自 OpenAI 并且基于 GPT-4 架构。
机器之心的测试
智能体软件工程师
OpenAI CFO Sarah Friar 近日在高盛举办的一次活动上透露,该公司正在开发一款名叫 Agentic Software Engineer(A-SWE)的产品,即智能体软件工程师 / 自主式软件工程师。不同于编程助手(Copilot),A-SWE 可以自己完成构建应用、处理拉取请求、进行质量保证、修复错误和编写文档等任务。
视频由 𝕏 用户 @slow_developer 剪辑
在此之前,OpenAI 已经发布了 Operator 和 Deep Research 这两款智能体,分别面向计算机控制和深度研究两个应用方向,而 A-SWE 很显然会是一个面向编程任务的智能体。
除了以上传言,还有网友猜测 OpenAI 可能还会发布一个新的图像生成模型,并且其性能可能胜过因吉卜力风格生成而大火的 GPT-4o。不过关于此传言的切实信息并不多。
你期待在 OpenAI 这次发布周上看到什么呢?