OpenAI 到职潮中，又一研究员官宣到职，并且还发出了“警告”信息：
Ilya 和 Jan Leike 的耽忧正是我的耽忧，还有一些额外的课题。
我们需要做更多事来改进决议流程等基础性的事务，包罗问责制、透明度、文档、策略执行、如何谨慎使用技术，以及减轻不平等、权利和环境影响的措施。
主人公名叫 Gretchen Krueger（简称格姐），是 OpenAI 的 AI 策略研究员。
她在 2019 年加入 OpenAI，参与过 GPT-4 和 DALL・E 2 的开发工作，还在 2020 年领导了 OpenAI 第一个全公司范围的“红队”测试。
此番出奔，除了提到 OpenAI 的决议透明度课题，她还隐约暗示：
一般来说，科技公司剥夺那些寻求追究其责任的人的权力的方法之一，就是在那些提出耽忧或挑战其权力的人之间制造分裂。我非常关心防止这种情况发生。
算上 Ilya 和 Jan Leike，格姐已经是这个月第 3 位从 OpenAI 来到的平安相关人员 —— 她提交辞呈还是在 Ilya 和 Jan Leike 确认到职之前。
本月第 3 位到职的 OpenAI 平安成员
先来简单回顾整个事情。
格姐是 OpenAI 的 AI 策略研究员，关于这个岗位的职责，有网友帮大家在评论区科普了。
由于感受到 OpenAI 存在巨大平安风险，格姐于 5 月 14 日通知公司自己即将到职。
在这之后，OpenAI 首席科学家 Ilya 正式宣布他将来到公司去追求“下一个计划”。
紧随 Ilya 到职的，还有斥责 OpenAI“产品优先于平安”的超等对齐负责人 Jan Leike。
那么，到底是什么风险使得格姐早就想跑呢？
总结下来其实很简单，但也很关键：OpenAI 在平安课题决议上不够透明且缺乏对决议人的问责。
（AI 透明度等）课题对所有人都很重要，它们影响着未来如何被规划、由谁来规划。
我想强调的是，这些耽忧不应该被误读为狭隘、投机或脱节的。它们并非如此。
另外，格姐还特意提及了为了保留对 OpenAI 的批评权、放弃 85% 家庭资产的 OpenAI 前员工 Daniel Kokotajio，表示感谢他的勇气，使她有机会说出想说的。
此前，OpenAI 被曝到职需签封口协议，“不签字就会影响股权”。
这件事的最新进展由格姐的另一位前同事 Jacob Hilton 曝出：
在 Vox 的深度调查发表之后，OpenAI 已经联系了前员工们，解除了此前签署的保密协议。
回到平安的话题上，格姐还是给老东家保留了体面：
OpenAI 仍在领导这些重要的工作。我也将继续对此保持关注和兴奋。
不过格姐的出奔，还是引发更多网友的好奇：
当 Ilya 等人还在的时候，OpenAI 如何决定重大平安课题？
当一批重要平安成员来到后，OpenAI 当前又如何决定平安课题？
谁决定 OpenAI 的平安路线？
在关注谁握有最终决议权之前，我们先来看看 OpenAI 的平安团队有哪些。
从官网公布的信息来看，OpenAI 目前的平安团队主要分为三大块。
超等对齐团队：拿出 20% 总算力，瞄准如何控制还不存在的超等智能
Safety Systems 团队：专注于减少现有模型和产品（例如 ChatGPT）的滥用
Preparedness 团队：绘制前沿模型的新兴风险
首先，作为核心的超等对齐团队由 Ilya 和 Jan Leike 在 2023 年 7 月发起。
结果不到 1 年，两位灵魂人物接连出奔，超等团队分崩离析。
其次，Safety Systems 成立于 2020 年，该团队下面有 4 个部门，包罗平安工程团队、风险管理团队、监控与响应团队以及政策与合规团队。
它曾负责了 GPT-3 和 GPT-4 的平安性评估。
当初领导它的 Dario Amodei，后来来到 OpenAI 创办了 Anthropic。
而且 Dario Amodei 之所以到职，原因恰恰在于想建立一个更可信的模型。
最后，OpenAI 于 2023 年 10 月宣布建立 Preparedness 团队。
该小组由麻省理工可部署机器学习中心主任 Aleksander Madry 领导，旨在“跟踪、预测和防范未来人工智能系统的危险”，包罗从 AI“说服和欺骗”人类的能力（如网络钓鱼攻击），到恶意代码生成能力。
目前该团队主要进行模型能力评估、评价和内部红队（即对模型进行渗透测试的攻击方）。
说了这么多，但 ——
不管 OpenAI 有多少平安团队，其风险评估的最终决议权仍掌握在领导层手中。
宫斗风波之前，OpenAI 核心管理团队中共有四名成员：CEO Sam Altman、总裁 Greg Brockman、首席科学家 Ilya Sutskever、CTO Mira Murati。
虽然一开始 Ilya 发动“宫变”让 Sam Altman 短暂下台，但很快奥特曼“熹妃回宫”，反而是 Ilya“消失”了 6 个月。
且回归后的 Sam Altman 身边基本都是自己人了，包罗最新顶替 Ilya 的 Jakub。
不过关于平安课题的决议权，虽然领导层是决议者，但董事会拥有推翻决议的权利。
目前 OpenAI 的董事会成员包罗，Salesforce 共同首席执行官、董事会主席 Bret Taylor，经济学家 Larry Summers、Quora 首席执行官 Adam D’Angelo、前比尔及梅琳达・盖茨基金会 CEO Sue Desmond-Hellmann、前索尼娱乐总裁 Nicole Seligman、Instacart 首席执行官 Fidji Simo 以及奥特曼本人。
参考链接：
[1]https://x.com/GretchenMarina/status/1793403475260551517
[2]https://futurism.com/the-byte/openai-cryptic-warning
本文来自微信公众号：量子位 （ID：QbitAI），作者：一水