OpenAI、蚂蚁集团、谷歌、科大讯飞等联合编制大模型安全国际标准,已正式发布

4月15日-19日,第27届联合国科技大会在瑞士日内瓦召开。16日,在以“塑造AI的未来”为主题的AI边会上,世界数字技术院(WDTA)发布了一系列突破性成果,包括《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》两项国际标准。这是国际组织首次就大模型安全领域发布国际标准,代表全球人工智能安全评估和测试进入新的基准。据了解,这两项国际标准是由OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等数十家单位的多名专家学者共同编制而成。其中《大语言模型安全测试方法》由蚂蚁集团牵头编制。 (图:W

4月15日-19日,第27届联合国科技大会在瑞士日内瓦召开。16日,在以“塑造AI的未来”为主题的AI边会上,世界数字技术院(WDTA)发布了一系列突破性成果,包括《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》两项国际标准。这是国际组织首次就大模型安全领域发布国际标准,代表全球人工智能安全评估和测试进入新的基准。

据了解,这两项国际标准是由OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等数十家单位的多名专家学者共同编制而成。其中《大语言模型安全测试方法》由蚂蚁集团牵头编制。 

OpenAI、蚂蚁集团、谷歌、科大讯飞等联合编制大模型安全国际标准,已正式发布

(图:WDTA发布大模型安全国际标准,OpenAI、蚂蚁集团、科大讯飞等参编)

与会的WDTA人工智能安全可信负责任工作组组长黄连金表示,随着人工智能系统,特别是大语言模型继续成为社会各方面不可或缺的一部分,以一个全面的标准来解决它们的安全挑战变得至关重要。此次发布的标准汇集了全球AI安全领域的专家智慧,填补了大语言模型和生成式AI应用方面安全测试领域的空白,为业界提供了统一的测试框架和明确的测试方法,有助于提高AI系统安全性,促进AI技术负责任发展,增强公众信任。

世界数字技术院(WDTA)是在日内瓦注册的国际非政府组织,遵从联合国指导框架,致力于在全球范围内推进数字技术,促进国际合作。AI STR(安全、可信、负责任)计划是WDTA的核心倡议,旨在确保人工智能系统的安全性、可信性和责任性。蚂蚁集团、华为、科大讯飞、国际数据空间协会(IDSA)、弗劳恩霍夫研究所、中国电子等均为其成员单位。

近年来,世界各国都在加强对于大模型安全的研究和管控。我国先后发布了《全球人工智能治理倡议》《生成式人工智能服务管理暂行办法》《生成式人工智能服务安全基本要求》等,旨在促进生成式人工智能安全可信发展,推进全球人工智能治理领域合作共识。

信息显示,此次发布的两项国际标准是大模型及生成式AI应用方面的安全测试标准。

其中,《生成式人工智能应用安全测试标准》由WDTA作为牵头单位。该标准为测试和验证生成式AI应用的安全性提供了一个框架,特别是那些使用大语言模型(LLM)构建的应用程序。它定义了人工智能应用程序架构每一层的测试和验证范围,包括基础模型选择、嵌入和矢量数据库、RAG或检索增强生成、AI应用运行时安全等等,确保AI应用各个方面都经过严格的安全性和合规性评估,保障其在整个生命周期内免受威胁和漏洞侵害。

《大语言模型安全测试方法》由蚂蚁集团作为牵头单位。该标准则为大模型本身的安全性评估提供了一套全面、严谨且实操性强的结构性方案。它提出了大语言模型的安全风险分类、攻击的分类分级方法以及测试方法,并率先给出了四种不同攻击强度的攻击手法分类标准,提供了严格的评估指标和测试程序等,可解决大语言模型固有的复杂性,全面测试其抵御敌对攻击的能力,使开发人员和组织能够识别和缓解潜在漏洞,并最终提高使用大语言模型构建的人工智能系统的安全性和可靠性。

OpenAI、蚂蚁集团、谷歌、科大讯飞等联合编制大模型安全国际标准,已正式发布

(图:蚂蚁集团王维强作为标准参与单位代表,在会上发言)

作为标准参与单位代表,蚂蚁集团机器智能部总经理、蚂蚁安全实验室首席科学家王维强受邀参会并进行了发言。他表示,生成式AI将释放巨大的生产力,但也要对它带来的新风险高度警惕。大型科技公司应在促进生成式AI安全和负责任的发展中发挥关键作用,利用其资源、专业知识和影响力推动最佳实践,构建一个优先考虑安全、隐私和道德考量的生态系统。例如,通过制定行业标准与指南,为开发和部署生成式AI系统的开发者和机构提供清晰指导;投入研发并开放保障生成式AI安全的工具,形成产业共治。

公开资料显示,蚂蚁集团从2015年起就积极投入可信AI技术研究,目前已建立了大模型综合安全治理体系。蚂蚁集团还自研了业界首个大模型安全一体化解决方案“蚁天鉴”,用于AIGC安全性和真实性评测、大模型智能化风控、AI鲁棒和可解释性检测等。此次发布的《大语言模型安全测评方法》,便是基于“蚁天鉴”AI安全检测体系的应用实践,与全球生态伙伴交流编制。此外,蚂蚁集团在公司内成立了科技伦理委员会和专门团队来评估和管理生成式AI的风险,公司所有AI产品均需通过科技伦理评测机制,确保AI安全可信。

相关资讯

瑞莱智慧完成新一轮战略融资,加速打造中国AGI安全基座

近日,人工智能安全基础设施提供商瑞莱智慧(RealAI)宣布完成新一轮战略融资,北京市人工智能产业投资基金等参与投资。本轮融资完成后,瑞莱智慧将继续加速通用人工智能安全基座产品研发,并不断推进安全可控的大模型商业化落地。随着全球范围内最大规模的人工智能浪潮掀起,人工智能的可控性和安全性成为愈发重要的发展议题。如今,人工智能大模型的通用性和泛化性大幅提升,应用也从传统的判别式任务走向生成式任务,而人工智能的内生及衍生安全问题变得愈加复杂,其带来的挑战和已经引起的各类风险事件也持续受到全球公众、企业和政府的广泛关注。当

OpenAI 和 Anthropic 同意推出新模型前交给美国政府评估安全

感谢人工智能公司 OpenAI 和 Anthropic 已经同意允许美国政府在这些公司发布重大新的人工智能模型之前访问这些模型,以帮助提高它们的安全性。图源 Pexels美国人工智能安全研究所(US AI Safety Institute)周四宣布,这两家公司已经与该研究所签署了谅解备忘录,承诺在模型公开发布之前和之后提供访问权限。美国政府表示,这一举措将有助于他们共同评估安全风险并缓解潜在问题。该机构表示,将与英国的对应机构合作,就安全改进提供反馈。OpenAI 首席战略官 Jason Kwon 对合作表示支持:

道阻且长,行则将至 | 安远AI x 机器之心系列讲座圆满结束

历时一个月,安远AI与机器之心联合举办的「迈向安全、可靠、可控的人工智能」六场系列讲座圆满结束,我们邀请了全球顶尖人工智能机构专家分享强化学习、预训练大模型、通用人工智能等内容。这六位专家分享了他们的真知灼见,并对人工智能与人类的未来展现出忧虑与希望:第1期:「寻找AGI的安全路径 」不正确的微调或目标的错误泛化可能会导致AGI追求一个不正确的目标。如果足够智能,这种未对齐(unaligned)的AGI将导致灾难性的后果。 —DeepMind研究科学家Rohin Shah第2期:「人类与AI的共生演化 」AI技术的