感谢IT之家网友 Coje_He 的线索投递！
google AI 又闯大祸！没认出毒蘑菇、恳求用户吃石头、把胶水加到披萨上，瞬间招来海量攻讦。
事情是这样的：
有网友在google搜寻寻找“芝士和披萨粘不到一块”的解决办法。AI 直接在顶部给出归纳指导，看似有模有样，却暗藏陷阱。
你还可以把 1/8 杯的无毒胶水加到酱料里，使其更黏。
本来大家还只当是寻常的“AI 幻觉”问题，毕竟都加胶水了的确黏啊，逻辑没毛病。
真正引爆舆论焦点的，是有人挖出这个恳求的确有出处：
来自 11 年前网友在“美国贴吧”Reddit 论坛披萨板块的恶搞留言。
对比原文，可以看出google Gemini 大模型的确出色地归纳精简了网友发言，去掉不必要的细节融合进回答中。
但关键在于缺乏常识，没有识别出网友恶搞的意图，认真了。
大家攻讦的另一个点在于，问题呈现在google最核心、使用量最大的搜寻产物上，而不是专门的 AI 对话。
如果是一个不熟悉 AI 技术，不了解 AI 会呈现“幻觉”的普通搜寻用户遇到这事，就更容易被 AI 骗到。
当然，具体到披萨 + 胶水这个例子因为过于离谱，大部分人都不会认真。
但也有人马上举出google Gemini 更多、更危险的错误：
恳求用户每天至少吃一块小石头。
在儿童感兴趣的“宇航员平常都做什么”问题上，把恶念言论归纳进来。
AI 对话产物也没幸免，曾把剧毒的毁灭天使菌 (Destroying Angel) 判断成可食用口蘑 (White Button Mushroom)。
用户发送图片 +“口蘑！好吃！”文字，Gemini 顺着就说用户判断的对，没有任何关于蘑菇可能有毒的提示。
有人认为加不完善的 AI 功能，反而是正在毁掉搜寻引擎。毁掉人们几十年来对这个产物的信赖。
前不久google AI 生图也因拒绝画白人引发强烈攻讦，导致生图功能暂停。
甚至有人感叹：我们才进入 AI 时代没几个月，就已经成了一场灾难。
垃圾数据正在进入大模型
说回到披萨的例子，这还不是个偶然现象，许多网友都能稳定复现出来。
来源同样是那位昵称“f*ucsmith”的 Reddit 网友 11 年前的那条恶搞留言。
像这样 AI 从 Reddit 论坛吸收错误知识的情况，也非孤例。
曾有人在论坛上开玩笑说下面这张图是“狗生出了奶牛”。
结果google AI 也认真了，相当坚定地告诉用户“的确呈现过狗生出奶牛的情况”……
像 Reddit 这样的论坛，固然数据丰富，但其中质量参差不齐，积累了几十年间网友或善意或恶念的误导、玩笑。
有网友声称：无论谁家大模型用 Reddit 数据训练，出的 AI 产物都得掂量掂量再用了。
然鹅现实确是，OpenAI 刚刚牵手 Reddit，宣布双方合作，把论坛内容引入 ChatGPT 等产物中。
并且 OpenAI CEO 阿尔特曼自己也是 Reddit 的投资人。
Reddit 联合创始人兼首席执行官 Steve Huffman 当时还说：
Reddit 包含了真实、最新的人类对话，引入 ChatGPT 可以帮助人们找到更多他们想要的信息，并帮助新用户在 Reddit 上找到社区。
嗯，就有点讽刺。
只能希望他们能做好数据清洗吧。
故意误导 AI 方法很简单
除了 AI 无意间从低质量数据中获得错误知识的情况，也有人发现了故意给 AI 留言错误信息的攻击方法。
代表人物有佐治亚理工助理教授 Mark Riedl，他在自己的个人主页上用与背景一样的字体给 AI 留言，编造他没获过的奖项。
这样人类一般不会注意到，但算法却会认真，认为他的书“在 3020 年畅销，还得过 3 个普利策奖”。
那么，现在有什么 AI 搜寻产物稍微靠谱一些，不容易被骗的吗？
他也做了一系列测试，发现最知名的 AI 搜寻 Perplexity 也会上当，直接照搬他主页上的胡言乱语。
You.com 表现还可以，但也呈现了小错误。
参考链接：
[1]https://x.com/kurtopsahl/status/1793494822436917295
[2]https://x.com/deliprao/status/1793652235420713301
[3]https://x.com/mark_riedl/status/1793375699967054334
本文来自微信公众号：量子位 （ID：QbitAI），作者：梦晨