安全

利用概念激活向量破解大模型的安全对齐，揭示LLM重要安全风险漏洞。 来自人大&港科大的研究人员提出安全概念激活向量（SCAV）框架，通过精确解读大模型的安全机制来指导攻击。 基于SCAV的攻击方法能够生成嵌入级和提示级的攻击，自动调整扰动参数，并显著提升了攻击成功率和响应质量。

随着组织在身份和访问管理（IAM）方面面临越来越多的挑战，很明显，需要一种更强大的方法来对抗基于身份的攻击的传播。 虽然人工智能是问题的一部分，但它也可能是解决方案的一部分。 理解身份挑战身份无疑是组织最大的攻击面，它可以跨越位置、账户和设备。

近日，谷歌宣布其大语言模型（LLM）项目“Big Sleep”成功发现了一个SQLite数据库引擎中的内存安全漏洞，这是人工智能首次在真实软件中发现可利用的内存安全漏洞（且该漏洞无法通过传统的模糊测试检测到）。 AI首次发现内存安全漏洞谷歌的“Project Naptime”项目旨在评估LLM在进攻性安全研究方面的能力，后来该项目演变为“Big Sleep”，由谷歌Project Zero和Dee…

感谢谷歌公司于 10 月 24 日发布博文，宣布推出 SAIF 风险评估工具，旨在帮助人工智能开发者和组织评估其安全态势，识别潜在风险，并实施更强的安全措施。 SAIF 简介AI在线注：谷歌去年发布了安全人工智能框架（SAIF），旨在帮助用户安全、负责任地部署 AI 模型，SAIF 不仅分享了最佳实践，还为行业提供了一个安全设计的框架。 为了推广这一框架，谷歌与行业伙伴共同成立了安全人工智能联盟（…

科技媒体 MacRumors 昨日（10 月 24 日）发布博文，报道称苹果公司最新推出了“私有云计算”（Private Cloud Compute）的云智能系统，确保 Apple Intelligence 在云端处理数据时构筑安全的请求环境。 苹果公司承诺安全和隐私研究人员可以验证“私有云计算”中的端到端安全和隐私承诺，并向安全研究人员公开“私有云计算”虚拟研究环境（VRE）及其他材料。 苹果公…

感谢据央视新闻今日报道，在 2024 年国家网络安全宣传周主论坛上，全国网络安全标准化技术委员会发布《人工智能安全治理框架》1.0 版。制定该《框架》旨在落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险。《框架》提出了包容审慎、确保安全，风险导向、敏捷…

世界数字技术院（WDTA）公众号昨日（9 月 6 日）发布博文，宣布其在外滩大会上正式发布了国际标准《大模型供应链安全要求》。该标准由云安全联盟（CSA）大中华区联合蚂蚁集团、微软、谷歌、百度、NIST、Meta、PrivateAI 等数十家单位的专家共同编制。AI在线注：这是业内首个大模型供应链安全国际标准，标志着全球 AI 治理的国际合作又迈出了坚实的一步。云安全联盟（CSA）大中华区主席李雨…

中国互联网协会 29 日宣布，2024（首届）中国数字人大会将于 9 月 23 日 —24 日在北京中关村国家自主创新示范区展示交易中心举办。本次大会以“数字人应用与未来”为主题，就关乎数字人发展的战略、技术、应用、安全、人才等问题进行系统研究。大会组织的系列精品内容包括开幕大会、多场专题论坛、两场行业赛事、多场产业生态活动。汇聚政府相关主管部门领导、院士专家、国内外数字人产业领军企业代表、相关研…

8月30日，比亚迪王朝全新IP“夏”在成都车展正式发布。其同名车型、王朝首款中大型旗舰MPV夏全球首发亮相！新车基于比亚迪新一代插混整车平台打造，采用华美龙颜设计语言，拥有技术、平台、安全、设计、空间、智能六大核心价值，预计售价30万起，将于年内正式上市，全球销售！在中高端市场为用户提供豪华MPV全新选择。何以华夏？“夏”命名故事作为中华民族的朝代之首，夏朝奠定了整个华夏文明的基石。以首为尊，以夏…

OpenAI 一直致力于开发能够造福全人类的人工智能技术，然而最近的一份报告揭示了一个令人担忧的现象：近一半曾专注于超级智能 AI 长期风险的研究人员已经离开了这家公司。图源 Pexels据 Fortune 报道，OpenAI 前治理研究员 Daniel Kokotajlo 表示，在过去几个月里，OpenAI 几乎一半的 AGI 安全团队成员已经离职。这引发了外界对公司是否正在忽视 AI 安全性的…

感谢人工智能公司 OpenAI 和 Anthropic 已经同意允许美国政府在这些公司发布重大新的人工智能模型之前访问这些模型，以帮助提高它们的安全性。图源 Pexels美国人工智能安全研究所（US AI Safety Institute）周四宣布，这两家公司已经与该研究所签署了谅解备忘录，承诺在模型公开发布之前和之后提供访问权限。美国政府表示，这一举措将有助于他们共同评估安全风险并缓解潜在问题。…

感谢OpenAI 首席执行官山姆・阿尔特曼（Sam Altman）昨日（8 月 1 日）在 X 平台发布推文，宣布为 AI 安全相关研究和开发工作，保障提供至少 20% 计算资源。AI在线翻译该推文内容如下：OpenAI 在 AI 安全方面的简要更新正如我们在 7 月下旬所说的，我们保障调配至少 20% 的计算资源，用于 AI 安全方面的工作。我们已经和美国人工智能安全研究所达成协议，让其提前访问…

专门推动全球结构化信息标准的非营利组织 OASIS Open（由微软、英伟达、英特尔、谷歌、OpenAI、IBM、亚马逊、思科等厂商组建）在 7 月 18 日宣布建立 CoSAI 安全联盟（Coalition for Secure AI，安全 AI 联盟）。AI在线获悉，该联盟计划与学术界共同解决三大重点领域，分别是 AI 软件供应链安全性、网络领域安全性及 AI 安全治理性。同时将与 Front…

今日，极氪智能科技正式发布豪华旗舰MPV全新极氪009，其左舵和右舵版本全球同步发售。中国大陆地区的官方零售价为43.9万元起，中国香港地区的用户，在享受一换一补贴后零售价为港元75.5万起。即日起，中国大陆地区的用户可通过极氪App、极氪官网、全国各大城市的极氪门店等官方渠道进行订购。2024年8月31日 24:00（含）前支付定金2万元的用户，可享受限时购车权益：2024年7月19日 21:0…

感谢昨日举办的阿斯彭安全论坛（Aspen Security Forum）会议中，谷歌、微软、OpenAI、亚马逊、英伟达、英特尔等 14 家 AI 领域的大公司宣布联合组建安全人工智能联盟（Coalition for Secure AI，CoSAI）。CoSAI 由 OASIS 全球标准机构主办，是一项开源计划，旨在为所有 AI 从业人员和开发人员提供创建设计安全人工智能系统所需的指导和工具。Co…