OpenAI 连续 12 天发布会还剩最后一天,期待中的「重磅」迟迟没来,反而失去了一位核心研究人员。
OpenAI 人事方面的变动还在继续。
今日,据外媒 The Information 报道,OpenAI 元老级人物 Alec Radford 即将离职,离职后进行独立研究。
据了解 Radford 信息的人士透露,Radford 表示他计划与 OpenAI 以及其他 AI 开发者展开合作。
OpenAI 研究主管 Mark Chen 在一份声明中表示:「我们对 Alec 及其贡献有着深深的敬意和感激,并期待在他探索独立研究的同时,继续与他合作开展项目。」
也许你没听说过 Radford 这个人,但他参与的研究却是重量级的,在他 2016 年加入 OpenAI 后,带来了一系列革命性突破,比如大家熟知的初代 GPT,还主导了 GPT-2 的研发等等。
在前几天火热进行的 NeurIPS 2024 大会上,OpenAI 前首席科学家 Ilya Sutskever 在他的演讲中特别提到了 Alec Radford、 Dario Amodei 等人参与的 GPT-2、GPT-3 开创性工作,它们推动了预训练时代以及所有进步的到来。
有人猜测,Radford 的离职预示着 GPT-4.5 就要来了。因为之前 OpenAI 高级语音模式发布后的第二天,首席技术官 Mira Murati 官宣离职。这么推算下来,作为 GPT 系列的重磅参与者,GPT-4.5 很可能就是明天发布(毕竟是 OpenAI 连发 12 天的最后一天)。
对此,有人赞同的表示:「也许他想在离开之前完成手头的项目。这并非完全不可能。」
在这条评论下,有人回答道「他虽然做了深入研究,但没有参与任何发布(没有走到台前,一直在幕后),不像 Murati 或其他已经离开的人。如果他不得不等待某件事,那么在 GPT-5 发布后离开会更合适。但老实说,他的离职在某种程度上可能有益于开源研究,因为离开 OpenAI 后会被允许再次发表文章。不过我不知道 OpenAI 的情况,对他们来说,前景看起来很暗淡。」
还有人表示人们低估了 Alec 对 OpenAI 以及整个 AI 研究的影响。他不仅是 GPT 和 Dall-E 的主要作者,而且很可能引领了公司所有重要的研究方向。甚至表示他的影响力不亚于 Ilya。这对 OpenAI 来说是一个巨大的损失,但该网友同时也希望 Alec 可以做一些开放的研究并发表一些东西,这样整个世界都可以受益。
此前,不列颠哥伦比亚大学教授 Jeff Clune 在 X 上发起了一个讨论,「谁是世界上最重要但又最被低估的 AI 科学家?在我看来,只有一个明确的正确答案。大多数重大进展背后都有一个人,但却很少被提及或庆祝。」
Jeff Clune 毫不犹豫的推荐了 Alec Radford,「Radford 显然是影响力最大但知名度最低的人。他推动了许多令人惊叹的发展,他应该作为现代生成式人工智能之父载入史册。Radford 也是一个非常好的人,不追求荣誉,这也是他很少受到关注的部分原因。我们更有理由谈论他对人工智能的巨大影响!」
「Radford 的研究绝对是领先的。他的贡献绝对是惊人的,至少三次改变了这个领域!我们欠他很多。」
他全程参与了 GPT 系列模型的研发
Alec Radford 是 GPT-1 的一作、GPT-2 的共同一作,其中 GPT-1 的被引数已经达到了 11947,GPT-2 的被引数为 14828。
2018 年,GPT-1 开启了预训练大模型时代,提出「半监督(semi-supervised)」(后来普遍称为自监督)的方法,先在没有标号的数据上面训练一个预训练模型,再在少量标号数据上面训练一个分辨的微调模型。
2019 年,OpenAI 在 GPT-1 的基础上发布了 GPT-2,利用无监督预训练模型做有监督任务。相较于初代模型进行诸多改进,GPT-2 参数达到 15 亿,可以执行多样性任务,开始学习在不需要明确监督的情况下执行数量惊人的任务。在 GPT-2 阶段, OpenAI 去掉了 GPT-1 阶段的有监督微调(fine-tuning),成为无监督模型。
GPT-1 论文:https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
GPT-2 论文:https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
不仅如此,Alec Radford 还参与了 GPT-3 论文的撰写、以及 GPT-4 的预训练数据和架构研究工作。
2020 年,到了 GPT-3 阶段,参数相较于 GPT-2 增加两个数量级以上,达到了 1750 亿参数,在许多 NLP 数据集上都有很强的性能(包括翻译、问题解答和完形填空任务),以及一些需要动态推理或领域适应的任务(如解译单词、在句子中使用一个新单词或执行算术)。
2023 年,GPT-4 开始迈向多模态模型,成为 AI 新里程碑,可以解决更复杂的问题、编写更大型的代码,并通过图片产生文字。GPT-4 的回答准确性不仅大幅提高,还具备更高水平的识图能力,且能够生成歌词、创意文本,实现风格变化。
GPT-3 论文:https://arxiv.org/pdf/2005.14165
GPT-4 技术报告:https://arxiv.org/pdf/2303.08774
根据 Google Scholar 显示,Alec Radford 的论文被引总数超过了 19 万,其中 1 万以上的达到 7 篇,足可见其参与工作的含金量和影响力。
参考链接:
https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs
https://x.com/jeffclune/status/1841167663252615634
https://www.reddit.com/r/singularity/comments/1hi3tth/alec_radford_the_lead_author_of_openais_original/