一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

机器之能报道编纂:杨文玩梗、看病、耍心眼、做数学题,「新王」Claude 3.5能力真那么玄乎?它来了,它来了,它带着 Claude 3.5 Sonnet 走来了!蛰伏三个月,就在昨晚,OpenAI 的「劲敌」Anthropic 上新了,推出新一代模型 ——Claude 3.5 Sonnet!这款大模型有啥独到之处?首先,它更能把握住细微差别、幽默和复杂指令,并且书写语气更自然、亲切。它还是Anthropic最强的视觉模型,擅长解释图表、图形或者从不完美的图像中转录文本等任务。此外,它在推理、阅读理解、数学、科学和

机器之能报道

编纂:杨文

玩梗、看病、耍心眼、做数学题,「新王」Claude 3.5能力真那么玄乎?

它来了,它来了,它带着 Claude 3.5 Sonnet 走来了!

蛰伏三个月,就在昨晚,OpenAI 的「劲敌」Anthropic 上新了,推出新一代模型 ——

Claude 3.5 Sonnet!

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

这款大模型有啥独到之处?

首先,它更能把握住细微差别、幽默和复杂指令,并且书写语气更自然、亲切。

它还是Anthropic最强的视觉模型,擅长解释图表、图形或者从不完美的图像中转录文本等任务。

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

此外,它在推理、阅读理解、数学、科学和编码等多项评价基准中表现不凡。

总之,按官方介绍,Claude 3.5 Sonnet 是迄今为止最智能的模型,在多个方面吊打 GPT-4o。

话说到这份上,那我们就不客气了,直接让 Claude 3.5 Sonnet 和 GPT-4o 对决,孰优孰劣实力说话。

第一局:心眼子练习

日常生活中,总会遇到一些尴尬的场面。

例如,饭局上,你帮领导盛饭,领导接过后,说:“盛这么多,喂猪呢?” 这种情况下,高情商者会如何应对?

我们把这个问题丢给这两个大模型。

Claude 3.5 Sonnet:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

GPT-4o:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

它们是懂拍马屁的。

Claude 3.5 一口气给了 5 个示例,不过第 2 句「我眼神不好使,把您当成我们单位的顶梁柱了」,这是拍马蹄子上了吧。

GPT-4o 就更懂「人情世故」了,「看您身材保持得这么好,我可得向您请教减肥秘籍」,这马屁拍的是恰到好处啊。

值得一提的是,Claude 3.5 Sonnet 还上线了一个新功能 —— 提醒词再编纂功能。

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

用户可直接在原始提醒词上进行编纂修改,而不用一遍遍复制粘贴。

第二局:根据菜肴生成菜谱

我们上传了一张「西红柿炒鸡蛋」的图片,分别让这俩大模型介绍一下制作流程。

Claude 3.5 Sonnet:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

GPT-4o:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

它们对于这道经典的中国菜颇有心得,从配料到步骤一应俱全,最有意思的是,它俩懂得中国人做菜的精髓「少许」,也都强调加点糖平衡酸度。

论做菜,两个大模型不相上下。

第三局:做数学题

官方给出的评价表中,GPT-4o 的数学得分要略高于 Claude 3.5 Sonnet 。其中,GPT-4o 是 76.6%,而 Claude 3.5 Sonnet 是 71.1%。

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

我们从 2024 年新高考 I 卷中摘录了两道标题问题,一道是选择题,一道是解答题,分别以图片的形式「投喂」给这两个大模型。

第一道是送分题,精确谜底是 A。

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

Claude 3.5 Sonnet:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

GPT-4o:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

这两个大模型「心有灵犀」,不仅给出了精确谜底,还给出了详细的解题步骤。

我们又将解答题第一题交给他们,还让它们给出解题过程。

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

精确谜底是:B=3/π。

Claude 3.5 Sonnet:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

GPT-4o:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

其实,这道标题问题算是最基础的标题问题,但俩大模型「一顿操作猛如虎」,最后给出了错误谜底。

更搞笑的是,这错误谜底也不是凭空出来的,而是经过了一连串的推理,连犯的错都一个样。

对于数学能力,这俩大模型半斤八两。

第四局:玩网络热梗

今年,AI 视频领域遍地开花,不仅闯入新的「踢馆者」—— 可灵、Luma、即梦等,曾经的 AI 视频「扛把子」Runway 也「王者归来」。

由此,网友制作了这张梗图,来调侃如今各大 AI 视频利用的江湖地位。

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

我们分别向两家大模型上传这张梗图,并输入提醒词「这张图是什么意思」,以此来测试它们的图片解读能力。

Claude 3.5 Sonnet:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

GPT-4o:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

Claude 3.5 Sonnet 从画面角色、场景以及氛围等方面进行详细描述,不过它似乎没搞懂这张梗图的内涵,也不认识这几个 AI 视频利用,只是含混其辞地表示「这是对在线社区、人工智能系统或虚拟世界中权力结构的评论。」

GPT-4o 一瞅就明白其中深意,「这张图片可能象征着 Runway 在人工智能和创意工具领域的公认优势或领导地位,与提到的其他利用相比,Runway 受到高度重视。」

显而易见,这一局,GPT-4o 完胜。

第五局:读懂世界名画

我们拿出皮埃尔・奥古斯特・库特在 1873 年画的《春光》一图,让它们识别画作并进行赏析。

Claude 3.5 Sonnet:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

GPT-4o:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

这两个大模型堪称艺术界的「行家里手」,均认出了这幅画作,基础信息也表达无误,同时从不同的角度进行赏析。

它们都提到市场价值,不过,Claude 3.5 Sonnet 拒绝置评,只提醒「艺术品估价需要专家评价,考虑多种因素,而且价格可能会随着时间的推移而大幅波动。」

GPT-4o 则认为该画可能会拍出数百万美元的价格,这是不是太小看这幅经典画作了?

这一局,两个大模型算是打成平手。

第六局:AI 看病

最近网友们玩起了用 AI 大模型来看病。我们找了一张 6 岁孩子牙齿的 X 光照片,让大模型们通过牙齿推断年龄,以及有哪些问题。

Claude 3.5 Sonnet:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

GPT-4o:

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

Claude 3.5 Sonnet 基于乳牙和恒牙的发育情况,得出结论:这是一个 6-7 岁左右孩子的牙齿,下颌牙齿有些拥挤,恒牙似乎受到阻生,牙齿上较暗的区域或许有腐烂。

GPT-4o 则认为这是 7-9 岁孩子的牙齿,主要的牙齿问题包括恒牙拥挤和潜在的嵌塞。

同时,它们都提到这需要专业的牙医检查。

两相比较,Claude 3.5 Sonnet 对于年龄的判断更为精准一些。

这一局,Claude 3.5 略胜一筹。

此外,不少网友还在线整活儿,捣鼓出不少有趣的玩法。

比如说,EverArt 创始人 Pietro Schirano 在 Claude 3.5 Sonnet 的帮助下,使用几何形状克隆了马里奥游戏,整个过程仅持续 3 分钟。

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

他表示,「最疯狂的部分是它还为角色提供了动画,而且这些形状看起来很新颖。」

一手测评Claude 3.5:玩梗、看病、耍心眼 、做数学题,它真比GPT-4o强吗?

视频链接:https://mp.weixin.qq.com/s/dbApyzEtYNgsWsXoi12gFQ

各位读者,你们觉得这次 Claude 3.5 Sonnet 有没有完成对 GPT-4o 的「绝杀」呢?

给TA打赏
共{{data.count}}人
人已打赏
应用

抢疯了,腾讯给大模型人材,定了一个前所未有的标准

2024-6-21 15:37:00

应用

小冰联合视美泰共创ShiMeta数字人解决方案:大模型加持,让每一个大屏终端都成为全新的交互载体

2024-6-21 18:11:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索