google工程师2018年内部信曝光,5年前就有人拉响AI警报了

看起来,虽然行动慢了一些,google搜寻的地位暂时还无人可以撼动。2023 年 2 月,google CEO 桑达尔・皮查伊(Sundar・Pichai)对内发布了一份「红色代码」预警,要求google旗下用户超 10 亿的产品尽快接入生成式 AI,以对抗来势汹汹的 ChatGPT。这一举动给人一种google「慌了」的感觉,因为 ChatGPT 的到来已经威逼到了google核心的搜寻业务:如果大家都习惯用 ChatGPT 这类 AI 对话引擎间接得到谜底,谁还会去google搜寻呢?谁还会去google投广告呢?乍看起来,这一切都发生地非常突然,google应对起来也很被

看起来,虽然行动慢了一些,google搜寻的地位暂时还无人可以撼动。

2023 年 2 月,google CEO 桑达尔・皮查伊(Sundar・Pichai)对内发布了一份「红色代码」预警,要求google旗下用户超 10 亿的产品尽快接入生成式 AI,以对抗来势汹汹的 ChatGPT。

这一举动给人一种google「慌了」的感觉,因为 ChatGPT 的到来已经威逼到了google核心的搜寻业务:如果大家都习惯用 ChatGPT 这类 AI 对话引擎间接得到谜底,谁还会去google搜寻呢?谁还会去google投广告呢?

乍看起来,这一切都发生地非常突然,google应对起来也很被动。但其实,早在 2018 年,google内部就已经有工程师拉响了警报,指出 AI 正在对google的业务带来风险,尤其是网页搜寻。

google工程师2018年内部信曝光,5年前就有人拉响AI警报了

众所周知,google借助用户交互数据对搜寻结果进行排名。通过观察用户与搜寻结果页面的交互方式(点击结果、后退、点击其他内容),google能够知道哪些页面与特定查询最相关。多年来,这帮助google保持了搜寻相关性的领先地位,因为它比其他任何搜寻引擎都拥有更多的用户交互数据。

但在 2018 年底,google的工程师们突然意识到一个惊人的成绩:复杂的言语模型最终将能够仅通过网页文本理解网页,而无需任何用户反馈。而这大概会危及google在搜寻领域长达 20 年的优势,这类威逼甚至大概来自一家小型初创公司。

google资深软件工程师 Eric Lehman 就是早早意识到这一成绩的工程师之一。为了表达自己的这份担忧,他还专门写了一份邮件:

我想写写我在假期期间思虑的一个成绩:  

在不远的将来,深度机器学习体系将明显优于google 20 年来积累的网页搜寻相关性算法。

此处我所讨论的仅限于「相关性」—— 即判断一个文档与一个查询讨论的是否为同一主题。网页排名还涉及许多其他方面,在这些方面,机器学习似乎不那么适用。但我认为,基本的相关性是网页排名的核心任务,足够「客观」,可以很有效地使用 ML。

没有人能预见未来,但我敢打赌,这简直肯定会在 5 年内成为现实,甚至大概在 6 个月内成为现实。类似于网页排名的成绩一个接一个被解决,简直没有理由认为网页排名会是个例外。实际上,这个成绩思虑的出发点是源于 AI 最近在网络问答方面取得的进展,深度 ML(具体来说是 BERT)突然取代了之前简直所有的工作。

对于网页问答团队来说,过去几周深度 ML 带来的巨变是完全出乎意料的。有了这次预警,我们不应再被意外打败;相反,我们应该从现在开始考虑其后果。而且,「现在」正是时候,因为我预计在新的一年里,很多网页排名工程师将会反思 BERT,并开始沿着这些相同的线路思虑。

一个需要考虑的事实是,这样的深度 ML 体系大概会在google之外的地方被开发出来 —— 比如在微软、百度、Yandex、亚马逊、苹果…… 甚至是一个创业公司。在我的印象中,翻译团队已经有过这类经历。深度 ML 彻底改变了翻译领域;过去的优势被一扫而空。幸运的是,google在深度 ML 上的巨大投资得到了回报,我们在这个新领域表现出色。然而,我们的新 ML 翻译器在基准测试中仍然被一家小型创业公司超越。

我们可以从 BERT 中得出一个惊人的结论:大量的用户反馈在很大程度上可以被原始文本的无监督学习所取代。这大概会对google产生重大影响,导致google在相关性方面输给其他公司。

网络搜寻中的相关性大概不会很快被深度 ML 所颠覆,因为我们依赖的记忆体系远大于任何当前的 ML 模型,并且包含了大量关于言语和世界的重要知识。此外还有许多性能挑战和特殊考虑等。尽管如此,我认为我们当前方法的优势最终会消失;ML 正在迅速进步,而传统技术则不然。

我不知道其他人怎么看。个人而言,我倾向于认为这个未来简直是不可避免的,但我还没有深入思虑其后果。我们大概需要思虑的一些成绩包括:

我们能不能现在就采取措施,确保自己引领这一变革,而不是成为变革的牺牲品?就我个人而言,我不想在未来几年,人们回顾时认为,「那些坚守传统网页排名方法的人被新潮流碾压,而他们却毫无预警……」我们能否制定一个 2019 年的合作目标,结合研究力量,利用深度模型击败我们现有的最佳预测呢?

我们如何在不打击士气的情况下与从事网页排名工作的人讨论这个大概的未来?

我听说翻译团队几年前就决定「all in」大规模 ML,现在回想起来,这似乎是明智之举。今天,我对围绕相关性采取如此极端的措施持怀疑态度,因为从现在到深度 ML 方法真正占据主导地位的这段时间里,我们大概会牺牲传统方法所取得的重大成果 —— 我认为这至少还需要几年的时间。然而,听到 BERT 的警示而不调整我们的计划似乎也是不明智的。

在google内部,Eric Lehman 大概不是唯一发现并指出这一成绩的人。在此之后,google也确实采取了一些做法来更新自己的搜寻体系。比如,在 2019 年 10 月,google正式宣布,他们的搜寻引擎用上了 BERT,能够改善 10% 的搜寻结果。一年后,google又宣布,简直所有的英文搜寻都用上 BERT 了。

不过,在之后的两三年里,google并没有采取更激进的措施,比如间接做一个基于大型言语模型的搜寻体系,间接给用户谜底。这就给很多创业公司提供了机会,比如 AI 驱动的搜寻引擎 perplexity。

这家公司的 CEO 表示,在推出 perplexity 的最初几周,一位google老员工就对他说过,「不用太担心吸引大量用户来与google竞争。你生活在一个可以从原始网络文本中进行无监督学习的时代。你并不需要那么多点击流数据就能构建出好的索引和排名体系,这就是你的机会。」

google工程师2018年内部信曝光,5年前就有人拉响AI警报了

那么,google为什么没有再接再厉,及早推出基于大型言语模型的搜寻体系呢?有人分析出了google当时的几个顾虑:

会对依赖蓝色链接(即传统搜寻结果链接)流量的生态体系造成太大伤害:google搜寻的一个主要功能是将用户引导到其他网站,而采用 LLM 谜底体系大概会间接提供谜底而非链接,这样会减少引导到外部网站的流量,对依赖这类流量的网站造成影响。

即使google决定因为竞争对手的压力而接受这类变化,羁系机构大概也不会同意。从羁系的角度看,间接提供谜底而减少对其他网站链接的引用大概会引起关于市场垄断和竞争公平性的担忧。

即使在美国,羁系机构大概不采取行动,这类威逼本身也是令人瘫痪的:这意味着,即便没有实际的羁系干预,仅仅是存在这类大概性和随之而来的法律和公众压力,就足以使google在采取这类策略方面犹豫不决。

google工程师2018年内部信曝光,5年前就有人拉响AI警报了

在 ChatGPT 走红之初,Meta 首席人工智能科学家 Yann LeCun 也表达过类似想法,表示大公司确实更难以推动这类大的革新,因为他们面临的公众、羁系压力要更大。

后面的故事走向大家都很熟悉了:除了像 perplexity 这样的搜寻新秀,google还要应对来自微软的威逼,后者通过与 OpenAI 合作,将自己的搜寻引擎彻底重构,打造了新必应。

不过,在过去的一年里,微软的新搜寻业务并没有对google形成真正的威逼。根据美国网站流量统计服务商 Statcounter 公布的统计数据,2023 年 2 月 Bing 在全球市场的份额是 3.03%,在一年时间过去后,其市场份额仅仅只是达到了 3.4%。这大概和新必应使用体验不佳、提示工程门槛较高等因素有关。与此同时,基于最新的 Gemini Ultra 模型,google对于搜寻引擎的重构步伐也在加快。看起来,虽然行动慢了一些,google搜寻的地位暂时还无人可以撼动。

参考链接:https://twitter.com/cramforce/status/1756790960107987275https://36kr.com/p/2619929032759689https://www.techemails.com/p/google-ai-elon-musk-tesla-comp

给TA打赏
共{{data.count}}人
人已打赏
应用

华为盘古大模型变「小」,1.5B也很能打

2024-2-15 17:18:00

应用

三年16篇一作,前google钻研科学家Yi Tay官宣新模型,21B媲美Gemini Pro、GPT-3.5

2024-2-15 17:33:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索