企业运作新引擎：开源大模型。
各种性能优异的大模型横空出世，开源大型语言模型在企业界的利用也逐渐引起广泛关注。
不过，这也使新的问题浮出水面，企业应该怎样有效地布置和利用这些模型来发挥它们最大的价值呢？
图灵奖得主 Yann LeCun 在 X 上向大家分享了一篇 VentureBeat 的文章。其探讨了开源 LLM 在商业环境中的潜力、挑战以及它们在不同行业中的实际利用案例。
原文链接：https://venturebeat.com/ai/how-enterprises-are-using-open-source-llms-16-examples/
VentureBeat 和其他专家认为，开源 LLM 可能会对企业中的生成式人工智能产生更强大的影响。这种影响力可能超过了像 OpenAI 的 ChatGPT 或 Anthropic 这样的查封模型。尽管有许多关于开源模型的实验或概念验证，但相对较少的成熟公司公开宣布他们已在实际商业利用中布置开源模型。
开源大模型遇到的问题
开源大模型的反馈循环存在延迟
开源大模型的发展和布置面临一些延迟，部分原因是它们起步较慢。例如，Meta 的 Llama 在 2023 年 2 月发布，而 OpenAI 的 ChatGPT 则在 2022 年 11 月就已公开。Mistral AI 的 Mixtral，一款表现优异的开源 LLM，也是在 2023 年 12 月才发布。虽然开源模型的实际利用案例现在还相对较少，但它们正「紧咬」查封模型，追赶上来只是时间问题。
开源模型当前还存在一些局限性。Replit 的 CEO Amjad Masad 指出，反馈循环无法正常工作，因为人们不能轻松地为模型开发做出贡献。。不过，开源领域的实验和创新活动正在加速，开发者们正在创建越来越多基于开源模型的衍生产品，它们在某些指标上逐步实现与查封模型的性能「平起平坐」甚至超越（例如 FinGPT、BioBert、Defog SQLCoder 和 Phind）。
图源：https://twitter.com/amasad/status/1747666962749284468?t=429nIsADhoyZAwjGAClZ0w&s=03
大型公共模型本身对企业几乎没有价值
Dell 的 AI 战略高级副总裁 Matt Baker 对于查封模型的局限性直言不讳。Dell 已与 Meta 合作，协助将开源的 Llama 2 带给企业用户。Baker 表示：「大型公共模型本身对私营公司几乎没有什么价值。」他指出，这些模型目标是一个非常通用的模型，这会使它们变得臃肿，但它们不允许企业用户轻松访问自己的数据。Baker 估计，企业所做的人工智能工作中，约有 95% 是通过检索增强生成（RAG）等技术为模型注入数据所需的工作流程。即便如此，RAG 也并不总是可靠的。
Baker 讲道：「许多客户在问自己：等等，我为什么要为一个对我的业务知之甚少的超大型模型付费？我难道不能应用其中一个开源模型吗？顺便说一句，也许可以应用一个更小的开源模型来实现（信息检索）工作流。」
他还谈道，许多企业公司正在建立和试验基于开源的客户支持和代码生成利用程序，以与它们自己的定制代码互动，有时这些代码对于由 OpenAI 或 Anthropic 等公司建立的通用查封 LLM 来说是难以理解的。这些公司优先支持 Python 和其他流行的云计算语言，而牺牲了对传统企业代码的支持。
开源 LLM 布置起跑缓慢的其他原因
Hugging Face 可以说是开源 LLM 最大的「聚集地」。成千上万的开发者已经下载了 LLM 和其他开源工具，比如 LangChain 和 LlamaIndex 这样的库和框架，来创造他们自己的利用程序。不过，Hugging Face 负责为应用开源 LLM 的公司供给建议的 Andrew Jardine 说，企业需要首先考虑数据隐私、客户体验和伦理等方面的影响，才能推进对 LLM 利用程序的应用。企业倾向于首先在内部用例上测试 LLM，通过概念验证后，才会考虑外部用例的布置。
也有人支持企业应该远离开源，因为从 OpenAI 调用 API 等服务更简单，不需要处理开源许可和治理的挑战。此外，GPT 模型虽然在多语言处理上表现良好，但开源 LLM 的效果参差不齐。
Hugging Face 的 Jardine 在讨论到开源模型和查封模型而这时说到，这样的对立二分法是个错误的观念，因为现在大部分企业都会将二者一起应用。他提到了最近与他交谈的一家大型制药公司，该公司对内部聊天机器人应用查封模型，但应用 Llama 进行相同的用例，比如标记含有个人可识别信息的消息。它之所以这样做，是因为开源给公司供给了更多控制数据的权力。Jardine 说，该公司担心，如果查封模型与敏感数据互动，那些数据可能会被发送回查封模型供给商。
开源将迎头赶上
技术的发展十分迅速，商业的需求改变也变幻莫测，这使企业想要根据需求在不同的开源和查封模型之间切换。他们已经意识到了，只依赖一种模型会带来风险。Jardine 说，如果模型供给商突然更新模型，或者没有及时更新模型跟上时代的步伐，公司的客户都可能会受到负面影响。他说，当公司担心控制数据访问权限，同时又希望对模型进行微调以达到专门目的时，通常会选择开源途径。「你可以应用自己的数据对模型进行微调，使其更适合你。」
VentureBeat 发现，有几家公司，如 Intuit 和 Perplexity，它们就希望在单一利用中应用多个模型，以便挑选对特定子任务有利的大模型。这些公司已经建立了生成式 AI 「协调层」，通过调用完成任务的最佳模型，自主完成这项工作，开源模型或是查封模型都可以。
布置开源模型的其他挑战
真正布置企业的源代码示例也很棘手，因为 LLM 的利用程序处于一种找不到甲方的状态。虽然建立利用程序的开发人员和始创企业不少，但对于 LLM 的开发者来说，他们想要找到的是有明确利用场景的项目、至少拥有 100 名职工的成熟公司。
他们寻找的对象是 LLM 技术的「最终用户」，而不是供应商。
另一个挑战是如何定义开源。Meta 于 2023 年 7 月发布了 Llama 2，该版本不仅可用于研究，也允许用于商业，但仍有一些限制。Llama 是较受欢迎的开源 LLM 之一，但 Llama 只公开了其模型权重，没有发布如数据源、训练代码或微调方法等具体细节。因此，有一些纯粹的开源主义者认为，Llama 不应该被认为是真正的开源。
Writer 开发了自己的 LLM 家族，称为 Palmyra，用于支持人们快速、创造性地生成内容的利用程序。它的企业客户包括 Accenture、Vanguard、Hubspot 和 Pinterest。虽然 Writer 已经开源了其中的两个模型，但其主要的 Large Palmyra 模型仍然是查封的，并且是这些企业客户默认应用的 —— 所以这些并不是开源应用的例子。
开源大模型落地案例展示
最近几个月，从始创公司涌现出大量针对企业的新开源 LLM，包括 Deci 和 Together 的 Redpajama 推出的产品。即使是微软、亚马逊的 AWS 和谷歌也加入了供应游戏，像麦肯锡这样的咨询公司也利用部分开源 LLM 为客户建立利用程序。这也说明了追踪企业应用的全面就是不可能的，许多企业会强迫供应商签署保密协议。
VentureBeat 尽可能收集了他们所能找到的示例，并进行了整理。具体内容如下：
1. VMWare
VMWare 布置了 HuggingFace 的 StarCoder 模型，该模型可协助开发人员生成代码，从而提高开发效率。VMWare 选择自行托管该模型，而不是应用像微软拥有的 Github 的 Copilot 这样的外部系统。这可能是因为 VMWare 对其代码库非常敏感，不希望让微软访问它。
2. Brave
这家聚焦安全的网络浏览器始创公司在隐私方面寻求差异化，他们布置了一个名为 Leo 的对话助手。Leo 之前应用的是 Llama 2，但 Brave 近期宣布 Leo 现在默认应用 Mistral AI 的开源模型 Mixtral 8x7B。
3. Gab Wireless
这家儿童友好型手机公司强调安全和保障，它应用 Hugging Face 公司供给的一套开源模型，为筛选儿童收发的信息添加了一个安全层。这样可以确保在与不认识的人进行互动时，不会出现不恰当的内容。
4. 富国银行 （Wells Fargo）
富国银行首席信息官 Chintan Mehta 在 VentureBeat 的活动采访中提到，富国银行已经布置了开源 LLM 驱动，包括 Meta 的 Llama 2 模型，用于一些内部用途。
5. IBM
IBM 应用了自己的 Granite，但也利用了来自 Hugging Face 和 Meta 的开源 LLM。然而，将 IBM 排除在已布置利用程序的用户名单之外是不公平的。其 285,000 名职工依赖公司的 AskHR 利用程序，该利用程序回答职工关于各种 HR 事项的问题，它是建立在利用开源 LLM 的 IBM 的 Watson Orchestration 利用程序上的。IBM 宣布了新的内部咨询产品 Consulting Advantage，该产品利用了由 Llama 2 驱动的开源 LLM。其中包括由 IBM 的 wasonx 平台供给支持的「助手库」，协助 IBM 的 16 万名顾问为客户设计复杂的服务。
IBM 生成式 AI 全球管理合伙人 Matt Candy 在接受 VentureBeat 采访时说，IBM 的数千名营销职工也应用 IBM 开源 LLM 驱动的营销利用程序生成内容。他说，虽然该利用去年还处于概念验证阶段，但已经开始在市场营销的特定部门布置。他说，该利用程序了解 IBM 的角色指南、品牌语气和活动指南，为子品牌和 IBM 运营的不同国家创建衍生内容。
6. 格莱美奖
IBM 还宣布了一项协议，为格莱美奖的所有者录音学院供给一项名为 AI stories 的服务。该服务利用在 IBM Wastonx.ai 工作室上运行的 Llama 2，协助定制见解和内容。这项服务将围绕艺术家及其作品的相关数据集的数据矢量化，LLM 可以通过 RAG 数据库检索这些数据，粉丝们也可以与这些内容进行互动。
7-9 美国大师赛、温布尔登网球赛和美国网球公开赛：
IBM 的 Candy 说，IBM 协助所有这些组织应用开源 LLM 生成相关体育赛事的语音解说，并查找视频集锦。IBM 的技术可以协助这些体育赛事公司调出一些关键的东西，如平板面部手势和人群嘈杂声，从而在整个比赛过程中创造一个更加令人兴奋的过程。
10. Perplexity
这家炙手可热的始创公司正在通过应用 LLM 来重塑搜索体验。该公司目前只有 50 名职工，但筹集到 7400 万美元。虽然它不符合我们对企业的定义，但它的有趣之处值得一提。当用户向 Perplexity 提出一个问题时，它的引擎会应用大约六个步骤来做出回答，在此过程中还会应用多个 LLM。Perplexity 的职工 Dmitry Shevelenko 说，倒数第二步默认应用自己定制的开源 LLM。这一步是总结 Perplexity 认为符合用户问题的文章或资料来源的材料。Perplexity 在 Mistral 和 Llama 模型的基础上建立模型，并应用 AWS Bedrock 进行微调。
Shevelenko 说，应用 Llama 至关重要，因为它有助于 Perplexity 掌握自己的命运。他说，在 OpenAI 模型上投资，对模型进行微调是不值得的，因为你并不拥有结果。值得注意的是，Perplexity 还同意为 Rabbit R1 供给动力，因此 Rabbit 也将通过 Perplexity 的 API 有效应用开源 LLM。
11. CyberAgent
这家日本数字广告公司应用戴尔软件供给的开源 LLM，为 OpenCALM（Open CyberAgent Language Models）供给动力，OpenCALM 是一个通用的日语语言模型，可以根据用户需求进行微调。
12. Intuit
Intuit 是 TurboTax、Quickbooks 和 Mailchimp 等软件的供给商，很早就开始建立自己的 LLM 模型，并在驱动其 Intuit Assist 功能的 LLM 混合中利用开源模型，该功能协助用户处理诸如客户支持、分析和任务完成工作。在采访中，Intuit 的执行官 Ashok Srivastava 说，其内部 LLM 是基于开源建立并在 Intuit 自己的数据上进行训练的。
13. 沃尔玛
零售巨头沃尔玛建立了数十个对话 AI 利用程序，包括用于客户服务的聊天机器人。沃尔玛全球技术公司的新兴技术副总裁 Desirée Gosby 表示，公司应用 GPT-4 和其他 LLM，以免泰国局限。Gosby 说，沃尔玛的努力始于应用 Google 在 2018 年发布的 BERT 开源模型。
14. Shopify
Shopify Sidekick 是一个 AI 驱动的工具，利用 Llama 2 协助小企业主自动完成管理其商务网站的各种任务，如生成产品描述、回应客户查询和创建营销内容。
15. LyRise
这家人才匹配始创公司 LyRise 应用一个建立在 Llama 上的聊天机器人，像人类招聘人员一样互动，协助企业从非洲各行业的高质量简历库中找到并雇佣顶尖的 AI 和数据人才。
16. Niantic
Pokemon Go 的创造者推出了一个名为 Peridot 的新功能，它应用 Llama 2 生成宠物角色在游戏中的环境特定反应和动画。