以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式，但绝大部分人依然不知道该如何运用。
因此，我们推出了「AI在用」专栏，通过直观、有趣且简洁的人工智能运用案例，来具体介绍AI运用方法，并激发大家思考。
我们也欢迎读者投稿亲自实践的创新型用例。
今天，我们分享 X 用户 @gabchuayz 的案例—— 利用 Claude 3 Opus （最贵的一款）视觉推理能力，读懂宜家家具装置仿单！
案例地址：
visual reasoning! I gave it some ikea instruction manuals and the results for Claude were great! pic.twitter.com/33GJfaDob6
— gabriel (@gabrielchua_) March 8, 2024
作者透过 Workbech 来接入 Claude 3 Opus
首先，进入 Claude 3 Opus ，输出提醒（ Prompt ）：
you are a friendly assistant
这也是 OpenAI 官方认可写好 Prompt 的重要策略之一，让模型充当某个角色，它往往会表现地更专业，回答也更明确。然后，上传仿单图片并附上简单笔墨提醒：
These are instruction manuals. List out the steps clearly.
这位作者按顺序（方法 1 — 14 ）上传了七张仿单图片。这是其中一张图片的内容：
来自@gabchuayz
这是 Claude 3 Opus 返回的结果：
来自@gabchuayz
底下是翻译过来的内容。对于不善阅读图片说明的用户来说，这个回答显然大幅降低了装置门槛，它甚至辨别出了螺丝的型号。
运用提供的对象（100092），将2颗螺丝（104521、104522）流动在圆形部件上，如图所示。
运用4颗螺丝将锤形部件（101339）毗连到方法1中组装的结构上。
运用4颗螺丝将另一个锤形部件（101339）毗连到相反的一侧。
运用4颗螺丝毗连两侧的部件。
将带箭头符号的部件拔出组装结构的开口处，运用4颗螺丝（101339）流动。
运用提供的对象（101339），将带箭头符号的部件流动在组装的框架结构上。
运用4颗螺丝进一步流动框架结构的部件。
框架结构现在已经完全组装好了。
运用对象（101339）驱动另外四颗螺丝，以加固毗连。
10、运用四颗螺丝（101339）流动盒子结构的顶部。
11、拔出带箭头符号的部件，关闭盒子的一侧。
12、运用对象（101339）驱动16颗螺丝，将所有部件紧密流动。
13、附加的图示显示了组装框架结构内部创建的细分隔间。
14、最后的图示提供了组装完成的整体尺寸，包括六颗螺丝流动的手柄。
当然，结果绝非完美。例如划线部分所示，什么是“锤形部件”？什么又是“带箭头符号的部件”？前面一个问题源自模型无法清楚区分图片中的螺丝和锤子对象；后面一个问题在于系统搞不清楚箭头其实表示的是这个零部件的拔出方向。
有人说宜家最酷的不是家具，而是家具仿单——没有笔墨，只有图，一些顾客常常在组装过程中陷入沮丧。现在，可以考虑找一个帮手了。
我们透过 Poe 调用 Claude 3 Opus。输出提醒 “you are a friendly assistant ”。
然后，直接上传了底下这张图片，没有任何笔墨提醒作为补充，看看大模型能否提供装置说明：
这是我们得到的结果。虽然还是存在明显的问题，比如辨别不了 d （不是螺丝，而是会随商品赠送的扭螺丝简易对象），但并不妨碍我们对装置方法有一个大体了解，并且知道这是一种比较典型的宜家家居装置风格。
如果是乐高装置仿单呢？我们按顺序（方法 1-5 ）输出了底下五张乐高装置仿单：
这是结果，非常清楚明白：
接着让模型推理一下咱拼的什么东西，结果也靠近答案（玩具小汽车）。
Claude 3 Optus 可以做到，其他领先大模型是否也可以呢 ? 还真未必。底下是 Gemini Pro 的“答卷”，差强人意，已经“臆想”是飞机的搭建了。目前 GPT-4 不接受这么多张图的输出，微软 Copliot 也只允许上传一张。
同样是看图说话， Claude 3 Optus 能否看懂漫画呢？输出提醒：“请按顺序解释每幅图片的意思”：
结果确实读懂了这是一幅吐槽宜家家居很难装置的漫画。不过，从第 9 幅图开始，模型就开始出错——正确答案是，用户饮弹自尽后，抢救无效，葬礼上的工人开始装置说明建造棺材和十字架，结果呢，确实不好装，十字架都歪了…….
Claude 3 Opus 也有不灵光的时候。尤其是当输出只有一张仿单时，Opus 并不能稳赢 GPT-4 。比如，这个茶几装置说明。
从返回结果来看，不仅笔墨辨别存在问题（“层板”被辨别为“房板”），拧螺丝的简易对象也辨别不出来。解读装置方法也有问题，比如方法 3、4 其实是在流动腿部，但被辨别为流动板子。
相比之下，如果运用 GPT-4 ，结果要好很多：
这是宜家早期的 Tune 椅子仿单：
Claude 3 Opus 返回的结果如下。椅子被辨别为桌子，装置方法也和图片内容不吻合。
同样的提醒， GPT-4 的效果要好得多：
我们的新专栏会带来更多不同大模型的案例演示，欢迎大家留言评论并给出改进建议。