Deepseek在2025年1月颠覆了全球人工智能模型,但谷歌和OpenAI很快发布了Gemini2 Pro和O3。这就产生了一个问题,应该使用哪种人工智能模型来进行客户服务?
为了评估这些模型在客户服务任务上的表现,我们必须更深入地了解它们在各种AI基准上的表现。我们还需要了解每个模型的独特属性。
本文将全面展示这些模型的技术性能,并深入了解企业如何使用这些模型进行客户服务。下面将涵盖:
- Deepseek R1、OpenAI O3和Gemini2 Pro的新功能
- Deepseek R1、OpenAI O3和Gemini2 Pro的性能测试
- 哪种模型能提供最佳的客户服务性能
- 结论
一 Deepseek R1、OpenAI O3和Gemini2 Pro有哪些新功能
当OpenAI O1发布时,它是唯一的“推理”模型。OpenAI已开始使用测试时间计算来扩展其模型,这样模型在回答复杂问题之前会有更多的时间。O1在解决研究生级别的难题和问题方面具有卓越的能力。
Deepseek R1提供了相同的功能。在将这些最先进的AI模型相互比较之前,让我们先了解一下它们的区别。
1.Deepseek R1
众所周知Deepseek R1导致了NVIDIA股票市场暴跌。尽管如此,NVIDIA发言人表示,“DeepSeek是一项出色的AI进步,也是测试时间扩展的完美示例。DeepSeek的工作说明了如何使用该技术创建新模型,利用广泛可用的模型和完全符合出口管制的计算。”
Deepseek在AI训练方面取得了一些独特的进步,并受到广泛赞誉。这些是:
- 用一小部分投资创建一个像O1这样的“推理”模型。
- 优化GPU到GPU的通信,使训练变得更高效、更快捷。
- 改进Transformer模型以提供更快的答案。
- 提高模型给出的答案的准确性。
- 提高LLM的成本效率(OpenAI o1成本为15美元/100万个代币,而Deepseek R1成本为2.19美元/100万个代币)。
Deepseek R1是最便宜的推理模型之一。这意味着企业可以节省更多成本,并允许他们无需花费数百万美元的资本支出即可将AI集成到每个领域。
此外,该模型完全开源,并附有详细的技术论文。这使得企业可以在其云基础设施上部署该模型,而无需向母公司支付费用。
OpenAI O3紧随Deepseek R1之后发布,并进行了大量创新。
2.OpenAI O3
2024年12月,OpenAI首次展示了O3的性能,宣布它在ARC-AGI测试中获得了88%的分数。ARC-AGI测试旨在测试AI模型识别和完成新任务的能力。因此,O3可以自行解决新问题,并远远超过其他类似模型(O1和ClaudeNewSonnet)。
然而,O3为实现这一成绩,在每项任务上都花费了超过1000美元的计算能力。因此,尽管O3很智能,但执行这些任务的效率并不高,因此很难向广大公众提供该模型。
于是,OpenAI推出了O3-Mini。O3-Mini也是一个推理模型,而且效率比O3高,但准确率不如完整的O3。
为了进行比较,以下是O3-Mini与O1-mini在常识任务上的比较:
O3-Mini的贡献如下:
- 它是一种以编码和其他技术任务为核心专业知识的专业模型。
- 与O1-Mini相比,O3-Mini的错误减少了39%。
- 56%的测试者更喜欢O3-Mini,而不是O1-Mini
- O3-Mini回答问题比O1-Mini快2.5秒。
由于O3-Mini在评估中得分较高,并且比替代模型O1-Mini快得多,因此它是一个很好的入门模型。该模型目前对Plus用户(每月支付20美元的人)有一些速率限制;它也可供商业使用,每100万个代币的价格为4.40美元。
然而,与Deepseek R1不同,O3-Mini是完全闭源的,不能部署在公司的云基础设施上。
最新加入竞争的是Google Gemini2 Pro,这是一款功能强大的模型,在各方面均表现出色。
3.Gemini2 Pro
谷歌AIStudio和Deepmind现任产品负责人Logan Kilpatrick推出了Gemini,他表示:“这是我们迄今为止最强大的前沿模型,融合了开发人员喜爱的专业模型系列的所有功能。”
Gemini2性能卓越,超越许多当前型号,具有以下特点:
- 200万个标记上下文窗口—Google拥有200万个标记长度的上下文窗口。您可以毫无问题地使用Gemini2 Pro分析所有书籍。Logan还展示了Gemini2在文档处理方面表现出色,优于所有当前的OCR模型。
- 工具使用—O3-Mini和Deepseek等最新型号都附带一些工具使用。同样,使用Gemini2,您可以在AI模型中获得Google搜索的强大功能。这对于希望为客户提供切实而准确的答案的开发人员和企业来说非常有用。
- 编码—Gemini2 Pro型号专为技术专家打造。它提供与O3-mini类似级别的编码专业知识。
- 复杂推理和提示—与上述模型一样,Gemini2能够熟练理解复杂提示和推理。这使得模型能够执行复杂的任务并提供详细的答案。
Gemini2 Flash是一款比Gemini2 Pro响应更快的型号,同时保持了相似的性能水平,其售价为0.7美元/100万个代币,是开发人员最便宜的选择。
这三种模型均已投入商业使用,可用于构建您的客户服务聊天机器人或电子邮件问题处理客户端。但现在我们已经对这些模型及其独特功能有了核心认识,让我们看看它们的性能表现如何。
二 Deepseek R1、OpenAI O3和Gemini2 Pro:性能测试
这些模型的总体性能如下。
这些评估基于几个基准,我们在下面列出:
让我们探索这些性能类别并尝试了解哪种模型在哪项任务上表现更好。
- 推理GPQA(研究生级GoogleProofQA基准)和MMLU(大规模多任务语言理解基准)测试AI模型如何推理和解决复杂问题。这些问题无法通过谷歌搜索解决,因此如果没有适当的推理就无法解决这些问题。OpenAI O3-Mini最擅长完成需要推理能力的复杂任务。
- 数学MATH基准进行测试,这些测试检查模型解决数学问题的效率。由于这些问题需要技术专业知识和对数学概念的熟悉,因此它展示了AI模型解决复杂技术任务的能力。OpenAI O3-Mini最擅长解决数学问题。
- 语言为这些LLM提供的语言任务包括NYTConnection谜题、字谜和概要任务。目前,Gemini2Flash在这些任务上表现最佳。
- 准确性在此基准测试中,模型会被问到一些特定领域的常识问题。这会测试模型中存在的基础知识。Deepseek R1在此测试中的表现优于Gemini2和O3-mini。
- 编码这是一个特定的基准,用于测试这些模型生成和完成编程任务的能力。OpenAI O3-Mini在编码方面表现最佳。
- 成本成本效益是评估客户服务AI模型的主要因素之一。Gemini2提供最具成本效益的服务,每百万输出代币收费0.7美元。
现在,通过查看性能,您可以看到OpenAI O3-Mini在技术上最为精湛。然而,它的价格也是最高的。另一方面,Deepseek R1提供了最好的准确度,而Gemini2在需要理解语言的面向文档的任务方面表现最佳。
这个具体的性能描述让我们了解哪种模型最适合客户服务。
三 哪种模型能提供最佳的客户服务性能
考虑到这些模型的能力,我们可以构建一个模型来选择合适的模型。
为什么说Gemini2是客户服务的最佳选择?
我们根据以下参数评估客户服务模式:
- 成本在任何客户服务项目中,您都必须与大规模人员建立联系。成本效率在其中起着关键作用,而Gemini2是目前最具成本效益的先进模型。
- 语言效率您的AI聊天机器人和电子邮件系统必须理解客户投诉并很好地对问题进行分类。Gemini2最擅长解决面向语言的任务。
- 准确性准确性是我们在评估AI模型时必须关注的关键因素之一。然而,在客户服务任务中,模型在使用RAG回答问题时会提供所需信息。因此,虽然Deepseek在准确性方面得分最高,但Gemini2的得分将使其能够有效地向客户提供准确的答案。
- 技术专长虽然这些模型在编码和技术任务方面都很出色,但大多数客户投诉并没有列出计算机错误或复杂问题。如果我们以希望使用人工智能解决和自动化L1客户投诉为中心,那么OpenAI O3在技术专长方面的高分在我们的评级中是最低优先级的。
因此,如果特别注重客户支持,Gemini2是客户服务的最佳模式。但是,我们认识到大多数组织都有不同的要求,而其他两种模式更擅长解决各种问题。
四 结论
我们对DeepSeek R1、OpenAI O3-mini和Gemini2 Flash的深入研究揭示了一个关键点:没有单一的“最佳”客户服务AI模型。您的选择在很大程度上取决于您的特定需求、优先事项以及客户互动的性质。
尽管OpenAI O3-mini在原始基准测试得分方面一直处于领先地位,尤其是在推理、数学和编码方面,但其较高的成本和闭源性质使其对某些组织来说不太容易获得。DeepSeek R1提供了一个具有强大准确性的引人注目的开源替代方案,但其整体性能与O3-mini的技术实力并不完全匹配。
我们的分析表明,Gemini2 Flash是最全面的选择。它在语言理解方面的优势,加上成本效益和大上下文窗口(非常适合处理客户历史记录和文档),使其非常适合以下任务:
- 聊天机器人交互处理常见查询,指导用户完成故障排除步骤,并升级复杂问题。
- 电子邮件票务对支持请求进行分类,对常见问题提供自动响应,并总结长电子邮件线程。
- 文档处理从客户提交的文档(如发票、合同或反馈表)中提取相关信息。
然而,记住细微差别至关重要:
- 需要技术支持如果您的客户服务经常涉及调试代码或解决复杂的数学问题,O3-mini的卓越技术能力可能值得您支付更高的费用。
- 您是否希望优先考虑开源和本地部署DeepSeek R1显然是最好选择,它能够提供控制并节省成本。
- 需要处理大量文档或需要较长的上下文窗口Gemini2的两百万个标记上下文窗口是您的首选AI模型。