OpenAI 和 Anthropic 同意推出新模型前交给美国政府评估安全

感谢人工智能公司 OpenAI 和 Anthropic 已经同意允许美国政府在这些公司发布重大新的人工智能模型之前访问这些模型,以帮助提高它们的安全性。图源 Pexels美国人工智能安全研究所(US AI Safety Institute)周四宣布,这两家公司已经与该研究所签署了谅解备忘录,承诺在模型公开发布之前和之后提供访问权限。美国政府表示,这一举措将有助于他们共同评估安全风险并缓解潜在问题。该机构表示,将与英国的对应机构合作,就安全改进提供反馈。OpenAI 首席战略官 Jason Kwon 对合作表示支持:
感谢人工智能公司 OpenAI 和 Anthropic 已经同意允许美国政府在这些公司发布重大新的人工智能模型之前访问这些模型,以帮助提高它们的安全性。

OpenAI 和 Anthropic 同意推出新模型前交给美国政府评估安全

图源 Pexels

美国人工智能安全研究所(US AI Safety Institute)周四宣布,这两家公司已经与该研究所签署了谅解备忘录,承诺在模型公开发布之前和之后提供访问权限。美国政府表示,这一举措将有助于他们共同评估安全风险并缓解潜在问题。该机构表示,将与英国的对应机构合作,就安全改进提供反馈。

OpenAI 首席战略官 Jason Kwon 对合作表示支持:

“我们非常支持美国 AI 安全研究所的使命,并期待一起合作,制定 AI 模型的安全最佳实践和标准。我们相信,该研究所在确保美国在负责任开发 AI 方面的领导地位上扮演着关键角色。我们期望通过与研究所的合作,能为全球提供一个可以借鉴的框架。”

Anthropic 公司也表示,建立有效测试 AI 模型的能力非常重要。该公司的联合创始人兼政策负责人 Jack Clark 说:

“确保 AI 安全可靠对于让这项技术带来积极影响是至关重要的。通过这样的测试和合作,可以更好地发现和减少 AI 带来的风险,推动负责任的 AI 发展。我们为能够参与这项重要工作感到自豪,并希望为 AI 的安全性和可信度设立新的标准。”

在联邦和州立法机构正在考虑如何对这项技术设置哪些限制而不扼杀创新的同时,共享人工智能模型访问权是一项重要举措。AI在线注意到,周三,加利福尼亚州立法者通过了《前沿人工智能模型安全创新法案》(SB 1047),要求加利福尼亚州的人工智能公司在训练先进的基础模型之前采取特定的安全措施。这引起了包括 OpenAI 和 Anthropic 在内的人工智能公司的反对,他们警告称这可能会伤害较小的开源开发人员,尽管该法案已经进行了修改,并且仍在等待加利福尼亚州州长加文・纽瑟姆的签署。

与此同时,美国白宫一直在努力从主要公司那里获得关于人工智能安全措施的自愿承诺。几家领先的 AI 公司已经做出非约束性承诺,投资于网络安全和歧视研究,并致力于对人工智能生成的内容进行水印标记。

美国人工智能安全研究所所长伊丽莎白・凯利在一份声明中表示,这些新的协议只是“开始,但它们是我们努力帮助负责任地管理人工智能未来的一个重要里程碑”。

相关资讯

李飞飞团队年度报告揭底大模型训练成本:Gemini Ultra是GPT-4的2.5倍

如何复盘大模型技术爆发的这一年?除了直观的感受,你还需要一份系统的总结。今天,斯坦福 HAI 研究所发布了第七个年度的 AI Index 报告,这是关于人工智能行业现状的最全面的报告之一。访问地址:,人工智能的发展正以惊人的速度向前推进,开发人员每月都在制造出越来越强大、越来越复杂的模型。然而,尽管发展速度加快,人工智能行业在解决人们对人工智能可解释性的担忧以及对其对人们生活影响的日益紧张方面却进展甚微。在今年的报告中,斯坦福 HAI 研究所增加了有关负责任人工智能的扩展章节,有关科学和医学领域人工智能的新章节,以

全球首个多模态地理科学大模型“坤元”发布,中国科学院打造

中国科学院地理科学与资源研究所、中国科学院青藏高原研究所、中国科学院自动化研究所等单位 9 月 19 日正式发布全球首个多模态地理科学大模型“坤元”(Sigma Geography)。据介绍,该大模型是专注于地理科学的专业语言大模型,具备处理地理科学相关问题的专业能力。研发团队完成了地理学全谱系高质量语料库构建、地理科学语言大模型构建、地理科学研究智导平台研发等工作,让“坤元”具备“懂地理”“精配图”“知人心”“智生图”等特点,实现了地理专业问题解答、地理学文献智能分析、地理数据资源查询、地理数据挖掘分析、专题地图

瑞莱智慧完成新一轮战略融资,加速打造中国AGI安全基座

近日,人工智能安全基础设施提供商瑞莱智慧(RealAI)宣布完成新一轮战略融资,北京市人工智能产业投资基金等参与投资。本轮融资完成后,瑞莱智慧将继续加速通用人工智能安全基座产品研发,并不断推进安全可控的大模型商业化落地。随着全球范围内最大规模的人工智能浪潮掀起,人工智能的可控性和安全性成为愈发重要的发展议题。如今,人工智能大模型的通用性和泛化性大幅提升,应用也从传统的判别式任务走向生成式任务,而人工智能的内生及衍生安全问题变得愈加复杂,其带来的挑战和已经引起的各类风险事件也持续受到全球公众、企业和政府的广泛关注。当