OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

这篇文章系统梳理了 OpenAI o1模型背后的核心人才。今天凌晨,OpenAI 震撼发布 o1 大模型,酝酿已久的「草莓」终于面世。新模型能够进行复杂推理,具备真正的通用推理能力,可解决比以往的科学、代码和数学模型所能处理的更难的问题。它在一系列高难基准测试中展现出了超强实力,相比 GPT-4o 有巨大提升,甚至能在博士级别的科学问答环节上超越人类专家(详情请参见《刚刚,OpenAI 震撼发布 o1 大模型!强化学习突破 LLM 推理极限》)。虽然 o1 很强,但有趣的是,它并不会尝试去推理和解答「黎曼猜想」这类

这篇文章系统梳理了 OpenAI o1模型背后的核心人才。

今天凌晨,OpenAI 震撼发布 o1 大模型,酝酿已久的「草莓」终于面世。

新模型能够进行复杂推理,具备真正的通用推理能力,可解决比以往的科学、代码和数学模型所能处理的更难的问题。它在一系列高难基准测试中展现出了超强实力,相比 GPT-4o 有巨大提升,甚至能在博士级别的科学问答环节上超越人类专家(详情请参见《刚刚,OpenAI 震撼发布 o1 大模型!强化学习突破 LLM 推理极限》)。

虽然 o1 很强,但有趣的是,它并不会尝试去推理和解答「黎曼猜想」这类人类自己还没解决的难题,以至于 Andrej Karpathy 忍不住吐嘈说它很懒。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

对于 o1 模型背后的那些贡献者来说,这一天可以说非同寻常。在模型正式发布后,他们终于可以公开谈论这一成果。每个人脸上都洋溢着轻松的笑容。OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

OpenAI o1 幕后团队在模型发布后接受了简单的采访,解释了与 o1 相关的推理的含义、研发过程中的「Aha moment」、用强化学习训练模型来生成和磨练它自己的思维链等内容。

其中,思维链提出者 Jason Wei 在第一时间就分享了自己提炼出的经验和感悟。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Jason Wei 提到,OpenAI o1 虽然很强,但能够激发它潜力的提示却没有那么好写。因此,针对该模型的提示工程还是一个待研究的问题。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

                                 OpenAI API 文档中提及的提示建议。示例参见:https://platform.openai.com/docs/guides/reasoning/advice-on-prompting

此外,参与该模型安全相关工作的 Lilian Weng(OpenAI 安全系统团队负责人)也发表了推文,表示 o1 的安全性和稳健性也得到了显著提升。这表明,「能力和安全并不是两个相互冲突的目标」。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

在过去的几年,Lilian Weng 一直以博客的形式进行高质量的技术分享,几乎每篇博客都是精品,被很多 AI 研究者视为重要的参考资料。所以,在她的推文评论区,大家已经在催更了。如果后续有更新,AI在线将第一时间跟踪报道。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

OpenAI o1 是一个庞大的项目,背后藏着一支强大的研究团队,Jason Wei、Lilian Weng 都是其中之一。在一个单独的博客中,OpenAI 列出了该项目的所有贡献者。有意思的是,已经离职的前首席科学家 Ilya 也出现在了核心贡献者名单中。所以,这个 OpenAI o1 就是 Ilya 所看到的吗?还是说,他看到了更了不得的东西?  

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

在这篇文章中,AI在线对 o1 项目的贡献者名单进行了梳理。

推理研究核心贡献者

Ahmed El-Kishky

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Ahmed El-Kishky 是 OpenAI 的一名 AI 研究员,他于 2024 年 2 月加入该公司,至今才 8 个月的时间。在此之前,Ahmed 在 X(原名推特)、Meta 等公司任职。他本科毕业于塔尔萨大学、博士毕业于伊利诺伊大学厄巴纳 – 香槟分校,导师是韩家炜教授。

Ahmed El-Kishky 主要研究方向包括大规模机器学习,自然语言处理,图机器学习和推荐系统。

Daniel Selsam

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Daniel Selsam 于 2022 年加入 OpenAI,现在是该公司的一名研究员,曾任职于微软,还在 DeepMind(现在为谷歌 DeepMind)做过实习生。Daniel Selsam 博士毕业于斯坦福大学,他还是 GPT-4 的贡献者。

Francis Song

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Francis Song 在 2022 年 6 月加入 OpenAI,至今已经 2 年多了,现在是一名技术人员。在加入 OpenAI 之前,Francis Song 是 DeepMind 的一名研究科学家。此前,他博士毕业于耶鲁大学。

Giambattista Parascandolo

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Giambattista Parascandolo 现在是 OpenAI 的一名 AI 研究科学家,目前在 OpenAI 领导一个团队,专注于解决模型推理问题。他在 2021 年加入 OpenAI,至今已经三年多了。此前,他任职于 DeepMind 等机构。博士毕业于苏黎世联邦理工学院。Giambattista Parascandolo 还参与过 GPT-4 的研究。

Hongyu Ren

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Hongyu Ren 在去年 7 月加入,现在是 OpenAI 的一名研究科学家,他还是 GPT-4o 、GPT-4o mini 的核心贡献者,并致力于 GPT-Next 的研究。Hongyu Ren 本科毕业于北京大学、博士毕业于斯坦福大学。此前,他在苹果、谷歌、英伟达、微软等工作过。

Hunter Lightman

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Hunter Lightman 现在是 OpenAI 的一名研究工程师,于 2022 年加入。他本科毕业于宾夕法尼亚大学。

Hyung Won Chung

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Hyung Won Chung 现在是 OpenAI 的一名研究科学家。研究重点是大型语言模型。在那之前,他在谷歌大脑工作,并在 MIT 攻读博士学位。

他曾参与过一些重要项目的研究工作,比如 5400 亿参数的大型语言模型 PaLM 和 1760 亿参数的开放式多语言语言模型 BLOOM。AI在线也曾介绍过他为一作的论文《Scaling Instruction-Finetuned Language Models》。

扩展阅读:OpenAI 科学家最新大语言模型演讲火了,洞见 LLM 成功的关键

Ilge Akkaya

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Ilge Akkaya 在 2019 年加入,现在是 OpenAI 一名工程师,专注于程序合成研究。Akkaya 博士毕业于 UC Berkeley。还参与过 GPT-4 的研究。

Ilya Sutskever

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

虽然 Ilya 在今年 5 月离开了 OpenAI,但还是出现在了 o1 的核心贡献者名单中。几天前,Ilya 新成立的公司 SSI(安全超级智能)刚完成 10 亿美元的融资,估值达到 50 亿美元。关于 Ilya 与 OpenAI 的故事,大家可以参考这篇文章「突发!Ilya Sutskever 成立新公司 SSI,安全超级智能是唯一目标与产品」,了解更多内容。

Jason Wei

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Jason Wei 现在是 OpenAI 一名研究员,于 2023 年 2 月加入。此前,他从 2020 年到 2023 年担任 Google Brain 的研究科学家。Jason Wei 是思维链的提出者,并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文,还参与过 GPT-4 研究。

Jonathan Gordon

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Jonathan Gordon 于 2020 年加入 OpenAI,现在是 OpenAI 的一名研究科学家和团队负责人,主要研究大型语言模型,还参与过 GPT-4 的研究。此前,Gordon 博士毕业于剑桥大学。

Karl Cobbe

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Karl Cobbe 早在 2018 年就加入 OpenAI,至今已经 6 年多了。他本科毕业于斯坦福大学,主要研究方向是人工智能和强化学习。曾参与过论文《Let’s Verify Step by Step》,这篇论文作者包括 Ilya Sutskever、John Schulman、Jan Leike 等知名大佬。

Kevin Yu

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Kevin Yu 在 2022 年加入 OpenAI,现在为 OpenAI 一名研究员,他博士毕业于加州大学伯克利分校。

Lukas Kondraciuk

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Lukas Kondraciuk 于 2022 加入 OpenAI,现在是一名研究员。此前,他还任职于谷歌、英伟达。本科和硕士均毕业于华沙大学。还参与过 GPT-4o、GPT-4 的研究。

Max Schwarzer

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Max Schwarzer 于 2023 年 11 月加盟 OpenAI, 致力于提升机器学习系统的能力。他毕业于蒙特利尔大学,曾是约书亚・本希奥(Yoshua Bengio)建立的 Mila 实验室的博士生,专注于强化学习和自监督学习领域的研究。

Mostafa Rohaninejad

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Mostafa Rohaninejad 在 2023 年 10 月加入了 OpenAI,成为 AI 科学家(AI Scientist)团队的一员。他是元学习领域知名的 SNAIL 架构的二作,详情可以参见AI在线此前的报道:入门 | 从零开始,了解元学习。他在加州大学伯克利分校获得了学士和硕士学位。加入 OpenAI 之前,他曾就职于工业机器人公司 Covariant,BAIR 实验室。同时,他还是一名举重运动员。

Noam Brown

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Noam Brown 在 2023 年 6 月入职了 OpenAI ,现在是一名专注于多步推理、自我博弈和多智能体 AI 的研究员。他在今年五月刊发的新论文「The Update-Equivalence Framework for Decision-Time Planning」提出了一种新搜索方法,解决了模型长路径搜索的问题,有人猜测 OpenAI o1 采用了类似方法。

此前,他是 Meta FAIR 的一员,主导了曾火遍一时的 CICERO 项目。这是第一个在策略游戏《Diplomacy》中达到人类水平表现的 AI,可以参阅AI在线此前的报道:争取盟友、洞察人心,最新的 Meta 智能体是个谈判高手。

随后,他开发了第一个在无限注德州扑克中击败顶尖人类选手的 AI:Libratus 和 Pluribus。Libratus 获得了马文・明斯基奖,以表彰其杰出成就。Pluribus 登上了《Science》杂志封面,并入围了 2019 年《Science》杂志年度突破奖。AI在线也曾详细报道过 Libratus 和 Pluribus。

拓展阅读:

学界 | Science 论文揭秘:Libratus 如何在双人无限注德扑中击败人类顶级选手

7 papers | 多人德扑 AI、手机 GPU 上的亚毫秒级人脸识别

加入工业界之前,他在卡内基梅隆大学获得了计算机科学博士学位。更早之前,他就任于联邦储备委员会的国际金融市场部门,专注于金融市场中的算法交易研究。

在推特上,有人怀疑Noam Brown是新模型的领导者,但他澄清说自己不是,并表明该项目是团队协作的产物。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Shengjia Zhao

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Shengjia Zhao 于 2022 年 6 月加入,现在是 OpenAI 的一名研究科学家,主攻 ChatGPT。他是 ChatGPT、GPT-4、GPT-4o mini 的作者之一 。他的主要研究方向是大语言模型的训练和校准。此前,他本科毕业于清华大学,博士毕业于斯坦福大学。

Trapit Bansal

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

2022 年,Trapit Bansal 加入 OpenAI 成为了一名研究员,直接对接 Ilya Sutskever。他是马萨诸塞大学阿默斯特分校的计算机科学博士,主要研究机器学习和自然语言处理。他关于元学习(meta-learning)的研究获得了 2018 年 ICLR 的最佳论文奖,他的多篇论文也曾入选 EMNLP、ACL Oral。

Vineet Kosaraju

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Vineet Kosaraju 在 2020 年就已加入 OpenAI,是数学生成团队(Mathgen)的一员。他在斯坦福大学完成了计算机科学的学士和硕士学位,主要研究计算机视觉与自动驾驶技术。他是现在流行的大模型能力测试集 GSM8K 的作者,是大模型可以搜索网页并产出回答的 WebGPT 技术的开发者,也是大名鼎鼎的《Let’s Verify Step by Step》论文二作。

Wenda Zhou

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Wenda Zhou 于 2023 年 7 月入职 OpenAI,在此之前,他曾就职于纽约大学等机构。他本科毕业于剑桥,博士毕业于哥伦比亚大学,曾在 NeurIPS、ICLR 等顶会发表多篇论文。

他的研究兴趣集中在高维统计学、压缩感知和深度学习领域。最近,他在探索机器学习在不同情境下的应用,比如数据压缩和化学。

以上介绍的是基础贡献者,完整的「推理研究」部分的名单如下:

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

推理技术安全贡献者

在「推理技术安全」版块,OpenAI 列出了与新模型相关的贡献者。除了 Lilian Weng,里面还有很多其他华人科学家的身影。其中担任领导职位(o1 Safety Leads 和 Safety Leadership)的包括:

Jieqi Yu

Jieqi Yu 是 OpenAI 的工程经理,2023 年 8 月加入 OpenAI。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

她本科毕业于复旦大学,期间曾在香港科技大学短暂交流,2012 年在美国普林斯顿大学拿到电气工程博士学位。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

在加入 OpenAI 之前,她在 Facebook 工作了 12 年(包含实习)。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Kai Xiao

Kai Xiao 是 OpenAI 的机器学习工程师,在麻省理工学院获得学士学位,随后获得计算机科学博士学位。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

他在个人资料中写道,「我的博士研究主要集中在稳健可靠的机器学习方面。我有兴趣了解当前机器学习实践造成的 bias,包括我们对模型架构、训练算法和数据集的选择。此外,我还想开发一些方法,让模型更稳健地应对这些不必要的 bias。我希望,通过识别和修复这些 bias,机器学习可以为现实世界的部署做好更充分的准备。」

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

过去的几年,他曾在微软研究院、Deepmind、Citadel、DE Shaw、A9 和 Jane Street 实习,并于 2022 年 9 月加入 OpenAI。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

Lilian Weng

Lilian Weng,中文名翁丽莲,是 OpenAI 安全系统团队负责人。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

她本科毕业于北京大学信息系统与计算机科学专业,曾前往香港大学进行短期交流,之后在印第安纳大学布鲁明顿分校(Indiana University Bloomington)获得博士学位。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

她 2018 年加入 OpenAI,参与了 GPT-4 项目的预训练、强化学习 & 对齐、模型安全等方面的工作。

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

正如前面所说,她的博客深入、细致,具有前瞻性,被很多 AI 研究者视为重要的参考资料。AI在线报道过的博客包括:

《Sora 之后,OpenAI Lilian Weng 亲自撰文教你从头设计视频生成扩散模型》

《OpenAI 安全系统负责人长文梳理:大模型的对抗攻击与防御》

《大模型自主智能体爆火,OpenAI 也在暗中观察、发力,这是内部人的分析博客》

《为内存塞不下 Transformer 犯愁?OpenAI 应用 AI 研究负责人写了份指南》

《关于 Prompt Engineering 你该了解啥?OpenAI 应用研究负责人帮你梳理了》

《OpenAI Lilian Weng 万字长文解读 LLM 幻觉:从理解到克服》

「安全」部分的完整名单如下:

OpenAI o1深夜炸场,核心贡献者有哪些?我们看到了大量华人的名字

参考链接:https://openai.com/openai-o1-contributions/

给TA打赏
共{{data.count}}人
人已打赏
应用

元象发布中国最大MoE开源大模型 落地应用登顶港台榜

2024-9-13 11:58:00

应用

首次运用 AI 技术助力搜救,2024 年国际邮轮大规模综合应急演习在天津举行

2024-9-13 14:55:36

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索