由于AI的快速发展以及对错失恐惧症(FOMO)的担忧，GenAI项目往往采用自上而下的推动方式，企业领导者很容易对这项突破性技术产生过度兴奋的情绪，然而，当企业急于构建和部署时，往往会遇到与其他技术实施中出现的所有典型问题。AI复杂且需要专业知识，这意味着一些企业很快就会陷入困境。
事实上，Forrester预测，尝试内部构建AI助手的企业中，有近四分之三将会失败。
Forrester分析师Jayesh Chaurasia和Sudha Maheshwari写道：“挑战在于这些架构错综复杂，需要多个模型、先进的检索增强生成(RAG)堆栈、高级数据架构和专业知识。”
那么，企业该如何选择何时采用第三方模型、开源工具或构建定制化的、内部微调的模型呢?专家对此进行了权衡。
AI架构远比企业想象的复杂
Forrester高级分析师Rowan Curran告诉记者，尝试自主构建代理的企业通常会在RAG和向量数据库方面遇到困难。在预期的时间框架内获得准确输出可能是一项挑战，而且企业并不总是理解重新排序的过程或其重要性，重新排序有助于确保模型使用最高质量的数据。
Curran指出，例如，用户可能会输入10000份文档，而模型可能会返回与当前任务最相关的100份文档，但是，较短的上下文窗口限制了可以输入以进行重新排序的内容。因此，例如，人类用户可能需要进行判断并选择10份文档，从而降低模型的准确性。
Curran指出，RAG系统的构建和优化可能需要6到8周的时间。例如，在进行任何调整之前，第一次迭代的准确率可能为55%，第二次发布可能达到70%，而最终部署的准确率理想情况下将接近100%。
开发人员需要了解数据的可用性(和质量)以及如何对模型进行重新排序、迭代、评估和落地(即将模型输出与相关、可验证的来源进行匹配)。此外，调高或调低“温度”决定了模型的创造力——但一些企业在创造力方面“非常严格”，从而限制了发展，Curran表示。
“人们一直认为这些东西有个简单的按钮，”他指出，“但实际上并没有。”
Curran表示，构建AI系统需要大量的人力，强调了测试、验证和持续支持的重要性。所有这些都需要专门的资源。
Databricks的AI副总裁、MosaicAI的创始人兼前首席执行官Naveen Rao表示：“成功部署AI助手可能很复杂。”企业需要访问各种大型语言模型(LLM)，并且有能力管理和监控不仅代理和模型，还有底层数据和工具。“这不是一个简单的问题，随着时间的推移，AI系统访问的数据及其访问方式将受到越来越多的审查。”
探索AI助手时需要考虑的因素
专家建议，在考虑部署AI助手的选项(第三方、开源或定制)时，企业应采取一种受控的、战术性的方法。
咨询公司Intelligence Briefing的创始人兼首席AI战略师Andreas Welsch建议，首先要考虑几个重要的问题和因素，其中包括：
• 你的团队大部分时间花在哪里?
• 在这个过程中，哪些任务或步骤最耗时?
• 这些任务的复杂性如何?是否涉及IT系统和可访问的数据?
• 提高速度或降低成本将为你的企业带来什么?你能否(以及如何)衡量基准?
Welsch指出，考虑现有的许可证和订阅也很重要。与软件销售代表交谈，了解你的企业是否已经可以使用代理功能，如果可以，使用它们需要什么条件(例如附加组件或更高级别的订阅)。
从那里开始，寻找一个业务功能中的机会。例如：“你的团队在哪些无法用代码描述的手动步骤上花费时间?”之后，在探索代理时，了解其潜力并“诊断”任何差距。
同时，一定要通过向团队展示代理如何帮助他们工作来赋能和教育团队。“也不要害怕提及代理的局限性，”Welsch说，“这将有助于你管理预期。”
制定策略，采用跨职能方法
Curran强调，在制定企业AI策略时，采用跨职能方法非常重要。成功的企业会让多个部门参与这一过程，包括业务领导层、软件开发和数据科学团队、用户体验经理等。
他建议，基于企业的核心原则和目标制定路线图。“我们作为一个企业的目标是什么?AI将如何帮助我们实现这些目标?”
Curran承认，这无疑很困难，因为技术发展得太快了。“没有一套最佳实践、框架，”他说。在AI助手方面，没有多少开发人员有发布后集成和DevOps的经验。“构建这些东西的技能还没有以广泛的方式真正得到发展和量化。”
因此，企业难以启动各种AI项目(包括所有类型)，并且许多企业最终会转向咨询机构或他们现有的技术供应商之一，这些供应商拥有在其技术堆栈上进行构建的资源和能力。最终，当企业与合作伙伴紧密合作时，他们将最有可能取得成功。
“第三方提供商可能有足够的资源来跟上最新的技术和架构来构建这一系统，”Curran说。
这并不是说不可能在内部构建定制代理;恰恰相反，他指出。例如，如果一个企业拥有强大的内部开发团队以及RAG和机器学习(ML)架构，他们可以利用这些来创建自己的代理AI。他还强调，如果“你的数据得到了良好的管理、记录和标记”，并且没有“一团糟”的API策略，同样也可以这样做。
无论哪种情况，企业都必须从一开始就将持续的、部署后的需求纳入其AI策略中。
“部署后没有免费的午餐，”Curran说，“所有这些系统都需要某种形式的发布后维护和支持，以及持续的调整和优化，以保持它们的准确性，并随着时间的推移使它们更加准确。”