AI在线 AI在线

OpenAI 更新《准备框架》:聚焦识别和缓解具体风险、细化能力分类,更好应对 AI 安全挑战

作者:故渊
2025-04-16 06:46
新框架通过更聚焦的方式,识别并缓解具体风险,同时强化风险最小化的要求,为组织如何评估、治理和披露安全措施提供明确指引。OpenAI 还承诺,随着技术进步,将投入更多资源,确保准备工作更具行动力、严谨性和透明度。

OpenAI 公司今天(4 月 16 日)发布博文,宣布为更好追踪和应对前沿 AI 能力可能带来的严重危害风险,发布新版《准备框架》(Preparedness Framework)。

AI在线注:《准备框架》是 OpenAI 在开发和部署环节,用于评估 AI 模型安全性的内部系统。

新框架通过更聚焦的方式,识别并缓解具体风险,同时强化风险最小化的要求,为组织如何评估、治理和披露安全措施提供明确指引。OpenAI 还承诺,随着技术进步,将投入更多资源,确保准备工作更具行动力、严谨性和透明度。

OpenAI 更新《准备框架》:聚焦识别和缓解具体风险、细化能力分类,更好应对 AI 安全挑战

新框架为高风险能力设定了清晰的优先级标准,通过结构化的风险评估流程,判断某项前沿能力是否可能导致严重危害。每项能力根据定义标准被归类,并追踪符合五项关键标准的能力。

此外,框架引入了更细化的能力分类,包括追踪类别(Tracked Categories)、网络安全能力(Cybersecurity capabilities)和 AI 自我改进能力(AI Self-improvement capabilities)等。

OpenAI 认为,这些领域将带来 AI 在科学、工程和研究中最具变革性的益处。同时,新增的研究类别(Research Categories)涵盖可能造成严重危害但尚未达到追踪标准的领域,如长距离自主性(Long-range Autonomy)、故意低表现(Sandbagging)和自主复制与适应(Autonomous Replication and Adaptation)等。

框架进一步明确了能力等级,简化为“高能力”(High capability)和“关键能力”(Critical capability)两个门槛。无论哪一等级,在开发和部署前均需采取足够的安全措施,以降低严重危害风险。

OpenAI 内部的安全顾问小组(Safety Advisory Group)负责审查这些措施,并向领导层提出建议。此外,框架引入了可扩展的评估机制,支持更频繁的测试,并通过详细的 Safeguards Reports 报告安全措施的设计强度和验证效果。若其他 AI 开发者发布缺乏同等安全措施的高风险系统,OpenAI 可能调整自身要求,但会先确认风险形势变化,公开承认调整,确保不增加整体风险。

相关标签:

相关资讯

OpenAI o3 模型运行成本估算大幅上调:单次任务从 3000 美元涨至 3 万美元

Arc Prize Foundation 大幅上调 OpenAI o3 模型运行成本估算,从 3000 美元涨至 3 万美元。高昂成本凸显 AI 模型特定任务的高成本难题,控制成本成行业挑战。##AI模型成本##
4/3/2025 7:59:45 AM
远洋

o1 研发团队完整采访:Ilya早期曾参与,灵感源于AlphaGo

自从 OpenAI 的 o1 问世以来,它强大的推理能力就承包了 AI 圈近期的热搜。不需要专门训练,它就能直接拿下数学奥赛金牌,甚至可以在博士级别的科学问答环节上超越人类专家。展示 o1 实力的 demo,我们看了不少,评估 o1 表现的评测,全网比比皆是,关于 o1 技术路线的讨论也如火如荼,引发了广泛的关注和深入的思考。不过 o1 背后的故事,还鲜为人知,那些在幕后默默付出的团队成员们,他们的故事同样值得被讲述和铭记。刚刚,OpenAI 发布了 o1 研发团队的完整访谈,为我们揭秘了 o1 的「成长历程」。o
9/22/2024 1:27:00 PM
机器之心

LeCun批评o1根本不像研究,Noam Brown回怼:已发表的研究都是废话

图灵奖三巨头之一 Yann LeCun 又和别人吵起来了,这次是 Noam Brown。Noam Brown 为 OpenAI o1 模型的核心贡献者之一,此前他是 Meta FAIR 的一员,主导了曾火遍一时的 CICERO 项目,在 2023 年 6 月加入 OpenAI  。这次吵架的内容就是围绕 o1 展开的。众所周知,从 AI 步入新的阶段以来,OpenAI 一直选择了闭源,o1 的发布也不例外。这也引来了广大网友的吐槽,干脆叫 CloseAI 算了,反观 Meta,在开源领域就做的很好,o1 的发布,更
9/30/2024 2:12:00 PM
机器之心