OpenAI 也有成功的模型。
大模型的训练与运转本钱极其高昂，OpenAI 也尝试过降低本钱，只可惜成功了。
去年年底，当 ChatGPT 引起全球轰动时，OpenAI 的工程师开始钻研一种新的人工智能模型，代号为 Arrakis。Arrakis 旨在让 OpenAI 能够以更低的本钱运转聊天机器人。
但据知情人士透露：2023 年年中，OpenAI 已经取消了 Arrakis 的发布，因为该模型的运转效益没有公司预期的那么高。
这次成功意味着 OpenAI 失去了宝贵的时间，并需要将资源转移到开发不同的模型上。
对合作投资来说，Arrakis 的研发计划对于两家公司完成 100 亿美元投资和产品交易的谈判非常有价值。据一位知情的微软员工透露，Arrakis 的成功让微软的一些高管感到失望。
更要紧的是，Arrakis 的成功预示着人工智能的未来发展能够会充满难以预测的陷阱。
Arrakis 是个什么样的模型？
知情人士称，OpenAI 希望 Arrakis 是一个与 GPT-4 机能相当，且运转效益更高的模型。Arrakis 模型用到的关键方法是利用稀少性。
稀少性是google等其他人工智能开发商也公开讨论并应用的机器学习概念。google高管 Jeff Dean 曾表示：「稀少计较将成为未来的一个要紧趋势。」
OpenAI 很早就开始了关于稀少性的钻研，早在 2017 年他们就推出了稀少计较内核。Arrakis 本来可以让 OpenAI 更广泛地推广其手艺，因为该公司可以应用数量有限的专用服务器芯片来为其软件提供支持。
当前，增加稀少性的一种常见方法是借助「混合专家系统（MoE）」手艺。然而，加州大学伯克利分校计较机科学教授 Ion Stoica 曾表示：「一般来说，专家模型的数量越多，模型就越稀少，效益也越高，但能够会导致模型生成的结果不太准确。」
大约在今年春天，OpenAI 的钻研人员开始训练 Arrakis 模型，其中涉及应用先进的计较硬件来帮助模型处理大量数据。知情人士称，该公司预计训练 Arrakis 比训练 GPT-4 要廉价得多。然而，钻研团队很快就意识到该模型的施展阐发不够好，无法获得预期的增益。钻研团队花了大约一个月的时间试图解决问题后，OpenAI 的高层领导决定停止训练该模型。
值得欣慰的是，OpenAI 可以将其在 Arrakis 上的工作整合到其他模型中，例如即将推出的多模态大模型 Gobi。
两位知情人士表示，Arrakis 的施展阐发之所以低于 OpenAI 的预期，是因为该公司试图提高模型的稀少性，这意味着将只应用模型的一部分来生成响应，从而降低运转本钱。该模型在早期测试中有效但后来施展阐发不佳的原因尚不清楚。
值得一提的是，有知情人士称 OpenAI 曾为 Arrakis 考虑的公开名称是 GPT-4 Turbo。
降低本钱有多要紧？
对于 OpenAI 来说，随着人们对手艺本钱的担忧日益增加以及开源替代方案的激增，使其模型更廉价、更高效是首要任务。
据知情人士称，微软应用 OpenAI 的 GPT 模型为 Office 365 应用程序和其他服务中的人工智能功能提供支持，并且微软原本预计 Arrakis 能够提高这些功能的机能并降低本钱。
与此同时，微软开始研发自己的 LLM，并且其 LLM 的运转本钱能够比 OpenAI 的模型更低。
尽管这场挫折并没有减缓 OpenAI 今年的业务发展，但随着 LLM 领域的竞争日益加剧，特别是google、微软等科技巨头的加速研发，OpenAI 也有能够在这条赛道上式微。
原文链接：https://www.theinformation.com/articles/openai-dropped-work-on-new-arrakis-ai-model-in-rare-setback