本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

奥特曼称他是爱因斯坦级别的天才;OpenAI总裁更是直言:只要他想要的,我们都给。 Alec Radford大神离职OpenAI,现在牵出更多细节:改变世界的GPT,竟然是在Jupyter notebook上诞生的。 而他只负责提供背后的灵感,剩下的由工程师来解决。

奥特曼称他是爱因斯坦级别的天才;OpenAI总裁更是直言:

只要他想要的,我们都给。

Alec Radford大神离职OpenAI,现在牵出更多细节:

改变世界的GPT,竟然是在Jupyter notebook上诞生的。

而他只负责提供背后的灵感,剩下的由工程师来解决。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

(网友:那在Excel也可以做到这一点)

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

奥特曼高度评价:没有他应有的知名度。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

他在Jupyter notebooks上发明了GPT

在奥特曼帖子下面,更多细节轶事被扒了出来。

比如事实是,他差点就放弃了将语言作为通往 AGI 的道路。

据这位OpenAI员工描述,在Alec在职最后一天他们有机会第一次谋面,他向Alec询问了坚持语言模型背后的原因。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

大概在2017年,Alec花了几年时间来研究RNN,但是进展不大。

于是Alec就感觉很沮丧,就想着要不要退出OpenAI。最终他决定休息一个月来调整,重新思考自己的方案。

回来后不久,Ilya就跟他推荐了谷歌前同事的新论文,也就是那篇著名的Attention is all you Need

于是乎,他就开始了新的架构尝试,并将其与无监督预训练相结合。

结果效果非常好,GPT时代就此开始

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

同样还有CLIP,他曾为此闭关一年来解决计算机视觉问题,最终才得以推出。CLIP也成为后续解决2D计算机视觉问题的基础。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

不过能造就GPT、CLIP,也是少不了OpenAI诸位同事对他的全力支持——

当时他在Jupyter notebooks上编写代码,然后就让研究工程师在那里翻译。好奇心胜过一切

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

OpenAI总裁Greg Brockman曾提到过这位天才:只要他想要的,我们都给

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

当时是在2023年SXSW大会上,Greg Brockman表示,Alec Radford对语言非常感兴趣,一直在研究如何构建小型聊天机器人。

我们非常喜欢他,所以我们非常支持他做任何他想做的事情。与此同时,我们也在投资一些严肃的项目,我们就想,你知道,无论亚历克需要什么,我们都会确保他得到。

也正因如此,2017诞生了第一个有趣的结果——一个根据亚马逊评论训练出来的模型,它可以预测下一个角色、下一个角色、下一个字母是什么。实际上,它学会了最先进的情感分析分类器。你可以给它一个句子,它会说这是正面的还是负面的。这听起来并不令人印象深刻,但就是在这一刻,我们知道它一定能成功。”

还有同行们表示,他的一些想法是整个AI领域研究者们重要灵感来源。并且他从来也不吝惜地去分享他的时间和想法。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

据这位朋友分享,当时他在学习ML,在MNIST训练一个普通的MLP,结果遇到了一个愚蠢的小问题。

然后Alec没有敷衍,又或者是帮忙修复这个小问题,而是立即开始教关于CNN方面的知识。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

奥特曼:爱因斯坦级别的天才

他毕业于富兰克林·欧林工程学院(Franklin W. Olin College of Engineering)。

据网友透露,这是个规模很小、以项目为导向的工程学院。其声誉与Rose-Hulman理工学院和Harvey Mudd College等学校类似。

他们的学生在项目方向上往往有很大的个人自由度,并能直接接触到大量的教师和研究工作,这与其他院校的研究生经历不相上下。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

随后就加入OpenAI,一干就是八年。

截至今日,他的论文被引数已超过19万。被引量排名前三的论文,分别与GPT-3、CLIP和GPT-2相关。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

这三篇论文都为今天的ChatGPT打下了重要基础,实际上,Alec几乎参与了OpenAI所有的重大突破。

除了被引量最高的这三篇,从第一代GPT到GPT-4o的作者名单中,Alec的名字都赫然在列,并且前两代中都是第一作者。

Alec同样作为一作的CLIP,则是OpenAI在多模态路线上的重要成果,甚至在整个行业都极具影响力;同时,Alec也是OpenAI初代绘图模型DALL·E的参与者。

其他模态方面,OpenAI开源的语音识别系统Whisper,一作仍然是他。不过,最新的o1模型贡献者列表中已经没有了Alec的名字。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

接下来,奥特曼表示,期待他以独立开发者的身份与OpenAI合作。

网友:不用博士学位也能干大事?

Alec Radford的经历,牵出来更多研究层面上的讨论。

是不是不用博士学位也能干大事了?Stability AI创始人回忆,他们自己的博士占比也不高,大概80个研究者/工程师中只有16个博士。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

这样看,博士学位是不是就不是招聘中的必选项了。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

但也有持反对意见,这样以偏概全未免有点夸张和过于简单化了。博士学位不仅仅是一个证书,更是一个教会你如何批判性思考和系统地解决复杂问题的旅程。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

而围绕这些细节,另一个讨论的主角是Jupyter notebook,网友们直呼:是个诞生天才想法的地方。

本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给本科学历但创造出GPT,奥特曼盛赞为「爱因斯坦级」天才,OpenAI总裁:他想要的,我们都给

所以新的一年,从开始学习如何使用notebook开始吧。

参考链接: 

[1]https://x.com/sama/status/1872666383210971560。[2]https://x.com/Yuchenj_UW/status/1874171107705811285。[3]https://x.com/ahatamiz1/status/1874228975175950487?s=46&t=R82LqSqpRZuVhcZxqH_Vlw。[4]https://x.com/priceindex/status/1873134352395051093?s=46&t=R82LqSqpRZuVhcZxqH_Vlw。

相关资讯

测试大语言模型的生物推理能力,GPT-4、PaLM2等均在测试之列

编辑 | 萝卜皮大型语言模型(LLM)的最新进展,为将通用人工智能 (AGI) 整合到生物研究和教育中提供了新机遇。在最新的研究中,佐治亚大学和梅奥诊所的研究人员评估了几个领先的 LLM(包括 GPT-4、GPT-3.5、PaLM2、Claude2 和 SenseNova)回答概念生物学问题的能力。这些模型在包含 108 个问题的多项选择考试中进行了测试,涵盖分子生物学、生物技术、代谢工程和合成生物学等生物学主题。在这些模型中,GPT-4 获得了 90 分的最高平均分,并且在不同提示的试验中表现出最大的一致性。结果

Copilot 正在吞噬世界,与 ChatGPT 一起

机器之能报道编辑:SIa2023 年属于 AI (尤其是生成式 AI ),几乎每个人都或多或少尝试过大型语言模型 ( LLM ),无论是教师、政客、脱口秀甚至儿童活动支持人。凭借每周超过 1 亿的活跃用户,ChatGPT 跻身当之无愧的顶流。不过,很多日常用例只触及了可能性表面。透过表面,那些真正从事技术工作的人们正在使用广泛 AI 工具来改造产品、重构业务,或者以前所未有的方式提供客户体验.......至少,大家承诺如此。那么,真实情况是什么呢?8月,低代码开发平台独角兽 Retool 对 1,578 名技术人员

OpenAI官方下场修复GPT-4变懒,上新多个模型、还大降价

今天,OpenAI 一口气宣布了 5 个新模型,包括两个文本嵌入模型、升级的 GPT-4 Turbo 预览版和 GPT-3.5 Turbo、一个审核模型。不知大家是否还记得,去年年底 GPT-4 开始变「懒」的事实。比如在高峰时段使用 GPT-4 或 ChatGPT API 时,响应会变得非常缓慢且敷衍,有时它会拒绝回答用户提出的问题,甚至还会单方面中断对话。 这种情况对于码农来说,更是深有体会,有人抱怨道「让 ChatGPT 扩展一些代码,它竟然让我自己去写。」原本想借助 ChatGPT 帮助自己编写代码,现在好