OpenAI 开始训练下一个前沿模型了。
在联合创始人、首席科学家 Ilya Sutskever 官宣到职、超等对齐团队被解散之后，OpenAI 研究的平安性一直备受质疑。
现在，OpenAI 董事会发表成立新的平安与保证委员会，由董事 Bret Taylor（董事会主席）、Adam D’Angelo、Nicole Seligman 和山姆・奥特曼（首席执行官）领导。该委员会负责就 OpenAI 项目和运营的关键平安决策向全体董事会提出建议。
同时，OpenAI 还发表最近开始训练其下一个前沿模型，并预计最终的系统将使 OpenAI 在通向 AGI 的道路上达到新的能力水平。
平安与保证委员会的首要任务是在未来 90 天内评估并进一步发展 OpenAI 的开发流程和保证措施。这 90 天结束时，平安与保证委员会将与全体董事会分享他们的建议。经过董事会的全面审查后，OpenAI 将以符合平安保证的方式公开分享已采纳建议的最新情况。
OpenAI 技术和策略专家 Aleksander Madry、Lilian Weng、John Schulman、Matt Knight 和 Jakub Pachocki 也是平安与保证委员会成员。
此外，OpenAI 还将咨询其他 AI 平安研究者和技术专家来支持其平安与保证工作。
平安问题积重难返
就在 OpenAI 准备重拾平安与保证工作时，前董事会成员 Helen Toner 在一档播客节目中谈及奥特曼的开除风波。令人意外的是，Helen Toner 表示前董事会是在 Twitter 上获悉 ChatGPT 的发布。
2023 年 11 月 OpenAI 的「宫斗风波」令人印象深刻，董事会突然罢免了 OpenAI 联合创始人兼首席执行官奥特曼，此举震惊了所有人。
当时到底发生了什么？Helen Toner 在 TED AI Show 播客的采访中，从她的角度报告了导致董事会成员不再信任奥特曼的缘故，以及奥特曼最终如何重回 OpenAI。
据 Helen Toner 所述：「当前董事会决定聘请新的 CEO 后，他们觉得唯一的办法就是背着奥特曼做这件事。因为所有人都很清楚，只要奥特曼察觉到董事会可能会做出不利于他的事情，他就会不遗余力，竭尽全力破坏董事会开除他的计划。」
董事会不再信任奥特曼的一个缘故是他没有告诉董事会他拥有 OpenAI 创业基金；另一个缘故是他在多个场合提供了有关公司平安流程的不准确信息。
此外，在「宫斗事件」之前，奥特曼曾与 Toner 发生过冲突，Toner 与其他研究者合作撰写了一篇关于人工智能平安的论文，论文批评了 OpenAI 掀起的「AI 军备竞赛」，这篇文章激怒了奥特曼，他认为损害了公司利益。随后，奥特曼开始私下联系其他董事会成员，试图说服他们开除 Toner。
在两名高管直接向董事会报告了他们与奥特曼打交道的经历后，他们描述 OpenAI 的氛围恶劣，指责奥特曼「心理虐待」，并提供了奥特曼「在不同情况下撒谎和操控」的证据，董事会终于采取了行动。
最值得注意的是，Toner 以 ChatGPT 的推出为例，说明前董事会对公司没有真正的监督。
「当 ChatGPT 于 2022 年 11 月推出时，董事会没有提前得到通知。我们在 Twitter 上了解到 ChatGPT」，Toner 说道。这听起来非常不合理，甚至有些荒谬。
这或许是后任董事会与 OpenAI 管理层，特别是奥特曼的矛盾冲突所在。而奥特曼重回 OpenAI 后，不仅恢复了首席执行官的职务，OpenAI 的董事会也进行了重组。
现任董事会主席 Bret Taylor 迅速就 Toner 在播客中报告的事情做出了回应：
我们对 Toner 女士重新审视这些问题感到失望。董事会的一个独立委员会与 Wilmer Hale 律师事务所合作，对 2023 年 11 月份的事件进行了广泛的审查。审查得出的结论是，后任董事会的决定并非基于对产品平安保证、开发速度、OpenAI 的财务或其向投资者、客户或业务合作伙伴的声明的担忧。此外，超过 95% 的员工（包括高级领导层）要求恢复 Sam 的首席执行官职务并要求后任董事会辞职。我们的重点仍然是继续前进并追求 OpenAI 的使命，以确保 AGI 造福全人类。
显然，现任董事会认可支持奥特曼的工作。并且在新成立的平安与保证委员会中，奥特曼仍然处于领导位置。
前平安负责人退出竞争对手 Anthropic
当大家在把目光聚焦到 OpenAI 新成立的平安团队时，曾经领导过 OpenAI 超等对齐团队的共同领导者 Jan Leike 发表正式退出 OpenAI 竞争对手 Anthropic，继续从事超等对齐研究。新团队将致力于可扩展监督、从弱到强的泛化以及自动化校准的研究。
OpenAI 超等对齐团队成立于 2023 年，由 OpenAI 联合创始人 Ilya Sutskever 与 Leike 共同领导，该团队的任务是确保人工智能与其制造者的目标保持一致，而不是做出不可预测的行为并伤害人类。
今年 5 月 14 日， Ilya 发推宣告到职。与 Ilya 同步发表离开的还有 Leike。随着两位高管到职，OpenAI 的超等对齐团队已被解散。
Leike 在 X 的一条帖子中解释了他辞去超等对齐团队联合领导职务的缘故。他写道：「相当长一段时间以来，我一直与 OpenAI 领导层关于公司核心优先事项的观点存在分歧，直到我们最终达到了临界点。」
Leike 曾经解释过他退出 OpenAI 的缘故，他认为 OpenAI 将是世界上进行 AI 平安研究的最佳场所，但他长期以来一直与 OpenAI 领导层就公司的核心优先事项意见不一，直到最终走到了临界点。Leike 认为 OpenAI 在追求通用人工智能 (AGI) 时应该优先考虑平安性。
此外，OpenAI 并未履行去年 7 月发表的对超等对齐团队的承诺。据《财富》杂志援引知情人士的话报道，该团队对 GPU 的使用请求一再被拒绝，而且从未接近获得其承诺的 20% 计算能力预算。
在离开 OpenAI 后的一篇帖子中，Leike 表示：「离开这份工作是我做过的最困难的事情之一，因为我们迫切需要弄清楚如何引导和控制比我们聪明得多的人工智能系统。」这可能就是 Leike 在短时间内选择退出 Anthropic 的缘故。
自 OpenAI 于 2022 年底推出 ChatGPT 以来，人工智能平安在整个科技领域迅速受到重视，并引发了生成式人工智能产品和投资的热潮。一些业内人士表示担心，公司在没有充分考虑潜在社会危害的情况下，过快向公众发布强大的人工智能产品会不会产生巨大的危害。对于这一问题，还没有统一的答案。但 AI 平安向何处去，值得每一个人认真审视。
参考链接：
https://x.com/TEDTalks/status/1795532752520966364
I'm excited to join @AnthropicAI to continue the superalignment mission!
My new team will work on scalable oversight, weak-to-strong generalization, and automated alignment research.
If you're interested in joining, my dms are open.
— Jan Leike (@janleike) May 28, 2024