LLaMA 开源背后:一场永远改变硅谷的AI军备内幕

机器之能报导编辑:SiaOpenAI 内部的戏剧性事件让世界第一次看到了那些将决定AI未来人的激烈争斗。事实上,在此之前,硅谷已经发生了一场鲜为人知但激烈的竞争,旨在争夺这项技巧的控制权。《纽约时报》采访了80多位高管、科学家和企业家,《纽约客》采访了微软和OpenAI两家 CTO,分别从不同角度讲述了一个关于野心、恐惧和金钱的幕后故事。在 OpenAI 于 2022 年 11 月推出 ChatGPT 的六周后,Meta 首席 AI 科学家 Yann LeCun 从纽约飞往硅谷参加 Meta 的例行管理会议。在总部

机器之能报导

编辑:Sia

OpenAI 内部的戏剧性事件让世界第一次看到了那些将决定AI未来人的激烈争斗。事实上,在此之前,硅谷已经发生了一场鲜为人知但激烈的竞争,旨在争夺这项技巧的控制权。《纽约时报》采访了80多位高管、科学家和企业家,《纽约客》采访了微软和OpenAI两家 CTO,分别从不同角度讲述了一个关于野心、恐惧和金钱的幕后故事。

在 OpenAI 于 2022 年 11 月推出 ChatGPT 的六周后,Meta 首席 AI 科学家 Yann LeCun 从纽约飞往硅谷参加 Meta 的例行管理会议。

在总部一家咖啡馆排队等午餐时,LeCun 向 CEO 扎克伯格发出了警告。他说,OpenAI 的 ChatGPT 可能会给公司带来麻烦——他需要在为时已晚之前迅速采取行动。《纽约时报》报导称,这位科学家告知扎克伯格,Meta 需要赶上 OpenAI 的技巧 ,采取行动公布自己的 AI 助手。不然,Facebook 和 Instagram 可能会被灭掉,AI 是未来。LeCun 警告说。当时,扎克伯格没多说什么,但他在听。扎克伯格花了一整年的时间围绕元宇宙重新定位公司,专注于虚拟现实和增强现实。现在,ChatGPT 需要他的注意。但就在此之前,无论是 Meta 8 月推出的 BlenderBot 3还是 ChatGPT 公布前两周推出的 Galactica——一个经过 1200 亿个参数训练的 AI 科研助手,结果都「扑」了。特别是 Galactica,仅上线三天就迫于激烈争议下线。「Galactica 演示暂时下线。不再可能通过随意滥用它来获得一些乐趣。开心了?」当时, LeCun 颇为不平。LLaMA 开源背后:一场永远改变硅谷的AI军备内幕BlenderBot 3 几乎可以谈论任何话题,它会说特朗普仍然是总统,还告知一位用户,扎克伯格「令人毛骨悚然」。报导称,扎克伯格没有回应,但 LeCun 的话让他感到恼火。毕竟,扎克伯格希望 Meta 成为一家领先的 AI 公司,而 Meta 已经在 Facebook、Instagram 和 WhatsApp 等应用程序中部署了 AI 功能。到了晚上,扎克伯格似乎改变了主意。「我一直在想你说的话,」一位知情人士告知《纽约时报》,扎克伯格在当晚的一个晚宴上告知 LeCun。「我认为你是对的。」LLaMA 开源背后:一场永远改变硅谷的AI军备内幕在巴黎,LeCun 团队已经开发了一个大型语言模型 Genesis,他们希望将其作为开源技巧公布,也几乎准备好了。据五名知情人士告知《纽约时报》,当他们寻求公布许可时,Meta 的法律和政策团队出于安全考虑做了一些抵制。开源可能会将强大的技巧交到那些不怀好意的人手中,而 Meta 将承担责任。

难道每个人都忘记了 Facebook 过去七年的历史吗?平台上的仇恨言论和错误信息曾引发轩然大波,致使公司在 2016 年大选后遭受了新闻媒体和国会的审查。报导称,Meta 首席法务官 Jennifer Newstead 告知扎克伯格,他们已经被盯得很紧了,开源可能会引起监管机构的注意。但扎克伯格还是决定尽快公布该自己的开源模型。2 月,Meta 已将 LeCun 团队构建的大型语言模型 Genesis 更名为 LLaMA(即「大型语言模型 Meta AI」的缩写),并公布给公司外部的 4,000 名研讨职员。很快,Meta 收到了超过 100,000 个访问代码的请求。

LLaMA 开源背后:一场永远改变硅谷的AI军备内幕ChatGPT 公布后,Meta 发生的故事也在其他巨头身上上演。《纽约时报》对 80 多位高管和研讨职员进行了采访,结合公司文件和录音,他们发现,ChatGPT 一经公布,曾因谈天机器人引发混乱而放慢步伐的那种担忧,现在不重要了。虽然对安全性的担忧并没有被忽视,但它们被暂时搁置一旁,成为第一、最大或最富有——或者三者兼而有之——的本能占据了上风。12 个月的时间,硅谷发生了翻天覆地的变化,巨头们迅速扭转了路线。「速度比以往任何时候都更加重要,」微软高管 Sam Schillace 在给员工的一封信中写道。他补充说,「此时此刻,担心以后可以解决的事情绝对是一个致命的错误。」过去二十年里,微软试图通过在内部 AI 项目上花费数亿美元来与google竞争,但收效甚微。十几年前,微软第一次尝试将 AI 带给大众时(还记得 Office 的曲别针助手吗?)就遭遇了令人尴尬的失败,被视为「计算史上最严重的软件设计错误之一」。2007 年,微软杀死了 Clippy。九年后,微软又因为谈天机器人 Tay 的不当言论深陷一场公关灾难。「每个人都认为 AI 是一场数据游戏,google拥有更多的数据,而我们处于一个巨大的劣势,我们永远无法弥补。」一位前高管告知《纽约客》记者,这本杂志近期一篇长文详细披露了微软与 OpenAI 合作的内幕。高管们开始相信,像微软这样笨拙的公司——拥有超过二十万名员工和庞大的官僚机构——无法满足 AI 发展所需的灵活性和驱动力。《纽约客》报导称,微软 CTO Kevin Scott 开始向外关注各种创业公司,OpenAI 脱颖而出。两者文化的深刻差异深深吸引了他—— OpenAI 年轻而快速,不受传统观念的束缚,他们意图「将精力集中在最具影响力的事情上。」文章罕见提到,Kevin Scott 特别重视与 OpenAI CTO Mira Murati 的关系。和 Scott 小时候一样,Mira Murati 从小就很穷,出生在阿尔巴尼亚的她是为数不多愿意绕过弹坑去上学的孩子。Kevin Scott 说,同意投资的一个原因是他「从未见过米拉慌张。」Mira Murati 称自己是一个乐观主义者,也是一个现实主义者。「有时人们会误解乐观主义,比如粗心的理想主义。但它必须经过深思熟虑,并设置好护栏——否则,你就会冒巨大风险。」

LLaMA 开源背后:一场永远改变硅谷的AI军备内幕OpenAI CTO  Mira Murati 认为自己既是乐观主义者又是现实主义者。微软相信,如果他们能够用 OpenAI 技巧强化微软的产品,并利用这家初创公司的才能和雄心壮志,他们将在 AI 竞赛中占据显著优势。微软慢慢开始尝试把玩这家初创公司的代码。首先是 GitHub,一些工程师团队开始尝试使用 OpenAI 的技巧来帮助他们编写代码。在 ChatGPT 公布之前,纳德拉和盖茨就已经看到 GPT-4 的演示。当时,纳德拉说了一句「天哪,这个东西。」盖茨从椅子上坐了起来,睁大眼睛。当年研讨职员向他展示奠定个人电脑基础的图形用户界面时,他也有过类似反应。后来,微软计划将其投资增加到 100 亿美元。

ChatGPT 公布后,2 月,也就是 Meta 公布 LLaMA 的同月,微软高调推出由 ChatGPT 驱动的新版必应搜索引擎。

LLaMA 开源背后:一场永远改变硅谷的AI军备内幕

颇有戏剧性的是,就在微软公布新版搜索之前,google抢先宣布将推出名为 Bard 的 AI 谈天机器人,与 ChatGPT 展开直接竞争,并计划首先向「值得信赖的测试职员」开放。据《纽约时报》称,大约圣诞节前google CEO Sundar Pichai 已决定立即准备一系列基于 AI 的产品。Pichai 清楚 ChatGPT 的缺陷——弄错内容,有时还会有偏见。令他惊讶的是,OpenAI 无论如何都公布了它,而且消费者喜欢它。如果 OpenAI 能做到这一点,为什么google不能呢?他向google首席法律顾问 Kent Walker 求助。后者知道,自己要做的就是说服高级技巧审查委员会( Advanced Technology Review Council )抛弃惯常的谨慎态度,按照新的命令( edict )行事。而这种情形在google并不经常发生。最后,他们在商业前途和安全风险之间达成妥协——会限制推广,会避免将任何东西称为产品。对于google来说,这将是一次实验。这样一来,它就不必是完美的。这与 ChatGPT 的公布「策略」何其相似——所谓「低调的研讨预览」,选择公布一个较旧的、功能较弱的技巧版本,再观察公众的反应。「我们计划将其(公布 ChatGPT——译者注)视为研讨公布,」OpenAI CTO Mira Murati 曾在 Slack 上告知员工。「这降低了各个方面的风险,同时让我们学到了很多东西。」当然,他们也确实没有料到 ChatGPT 公布后会立刻「起飞」。( Greg Brockman 预测相关推文点赞量可能也就 5K )。

LLaMA 开源背后:一场永远改变硅谷的AI军备内幕

接下来,故事的走势都差不多,都遇到了一些麻烦,可谓喜忧参半。LLaMA 公布一周之后,日本论坛 4chan(类似国内贴吧)突然出现 LLaMA 源代码种子文件,下载量很快超越千次。这次泄密事件再度引发对安全问题的忧虑,也在一定程度上促使两位州参议员在接下来的几个月里写信给 Meta,声称,该公司在公布 LLaMA 之前「未能进行任何有意义的风险评估」,并使该模型容易受到不良行为者的攻击。微软的新版 Bing 搜索引擎被指责吐出令人不安的回应。而google匆忙的公告变成了一种尴尬—— Bard 出师不利,在回答与詹姆斯·韦布太空望远镜有关问题时犯下事实性错误。

但这些远不足以让任何一方放慢脚步。Meta 继续追求新的 AI 工具,在 7 月公布了迭代的 Llama 2。9 月,又推出了最新一代的 Ray-Ban Meta 智能眼镜,以及数十个扮演帕里斯·希尔顿和 Snoop Dogg 等名人角色的 AI 谈天机器人。google在4月集中火力,合并了 Google Brain 和 DeepMind,由 DeepMind 创始人Demis Hassabis 领导,负责名为 Gemini 系统的开发。过去很长一段时间,Hassabis 都在大声警告 AI 可能会毁灭人类,也越来越担心google会用 DeepMind 的发明做什么。2017 年,DeepMind 试图脱离google,但在google提高创始人及其员工的工资和股票奖励待遇后,脱离的努力就此做罢。《纽约时报》报导称,道德委员会从未召开过第二次会议。现在,Hassabis 将负责带领google走向 AI 霸主的地位。与此同时,google也大手笔投资对手的对手——从 OpenAI 出走的核心技巧职员 Dario Amodei 创立的 Anthropic。Dario Amodei 对 OpenAI 与微软的交易并不满意,担心未来会偏袒商业利益而不是安全。《纽约时报》称,他和其他研讨职员前往董事会,试图将 Altman 赶下台。失败后就离开了。

LLaMA 开源背后:一场永远改变硅谷的AI军备内幕

另一位一气之下离开 OpenAI 的亿万富翁 Elon Musk 发誓要创建自己的 AI 公司。他称它为 x.AI。超级 drama 的是,四位知情人士告知《纽约时报》,受 AlphaGO 巨大成功的刺激,为了缩小与google的差距,马斯克曾于 2017 年底计划从 Altman 等创始人手中夺取控制权,将其转变为商业运营,与特斯拉联手,背靠这家汽车公司正在开发的超级计算机。遭到 Altman 和其他人异议后,马斯克辞职。他说,OpenAI 需要加快行动,一位研讨职员在会上反驳说,马斯克很鲁莽。马斯克称这名研讨职员为「混蛋」,然后带着他的钱袋子冲了出去。11月,x.AI 推出了一款名为 Grok 的谈天机器人,并使用 X 社交网络的数据进行训练。目前, x.AI 被曝正在寻求 10 亿美元融资。至于微软,报导称,为了保持领先,纳德拉在 2023 年春季购买了超过 20 亿美元的芯片。「我们有一个大订单要来找你,一个非常大的订单。」纳德拉兴高采烈地对黄仁勋说。看来,过往一年仅仅是更大诗篇开了个头儿。参考链接https://www.nytimes.com/2023/12/05/technology/ai-chatgpt-google-meta.htmlhttps://www.nytimes.com/2023/12/03/technology/ai-openai-musk-page-altman.html?smid=nytcore-android-share&utm_source=pocket_saveshttps://www.businessinsider.com/meta-ai-scientist-warned-mark-zuckerberg-facebook-instagram-chatgpt-extinct-2023-12https://www.newyorker.com/magazine/2023/12/11/the-inside-story-of-microsofts-partnership-with-openai?utm_source=pocket_saves

给TA打赏
共{{data.count}}人
人已打赏
应用

NeurIPS 2023 | 模仿人类举一反三,数据集扩增新范式GIF框架来了

2023-12-6 14:37:00

应用

google大杀器终于来了,最大规模Gemini震撼发布:真超GPT4,三大版本,手机直接可用

2023-12-7 14:40:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索