安全

随着ChatGPT等AI聊天机器人以及基于大语言模型的应用席卷全球，越来越多的公司开始将这种技术引入机器人控制。 然而，最新研究发现，黑客可以通过自动化方式轻松绕过AI系统的安全防护，甚至能够操控机器人执行极具破坏性的任务，例如控制自动驾驶系统撞向行人，或者将机器狗引导到敏感地点实施爆炸任务。 从文本到行动：大模型赋能机器人大语言模型的核心功能类似于智能手机的“自动补全”，通过分析用户输入内容预测…

近期，《咬文嚼字》杂志发布了2024年度十大流行语，“智能向善”位列其中，过去一年时间里，深度伪造、AI诈骗等话题屡次登上热搜，AI技术“野蛮生长”引发公众担忧。 今年9月，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》，指出人工智能既面临自身技术缺陷、不足带来的内生风险，也面临不当使用、滥用甚至恶意利用带来的外部风险。 为探寻AI安全治理道路，近期，由中国计算机学会计算机视觉专委会主…

据 Trellix 称，诸如俄罗斯持续入侵乌克兰以及以色列与哈马斯之间的冲突等多起地区性冲突，已导致网络攻击和黑客活动激增。 AI驱动的勒索软件助长了网络犯罪手段该研究审视了一个日益复杂的勒索软件生态系统，其中犯罪团伙采用嵌入AI的先进工具来传播勒索软件。 Trellix 的遥测数据显示，与中国相关的威胁行为体团伙仍然是国家支持的高级持续性威胁 (APT) 活动的主要来源，仅 Mustang Pa…

10个值得关注终端安全解决方案从传统防病毒到AI驱动的智能防护，从单点防御到整体安全架构，当前终端安全产品正在经历深刻的技术变革，很多新的技术都在显著增加方案的价值。 1Singularity Endpoint SecuritySentinelOne的Singularity Endpoint Security是一款先进的端点安全解决方案，旨在通过AI技术实现自主的端点防护、检测与响应（EDR）。 …

利用概念激活向量破解大模型的安全对齐，揭示LLM重要安全风险漏洞。 来自人大&港科大的研究人员提出安全概念激活向量（SCAV）框架，通过精确解读大模型的安全机制来指导攻击。 基于SCAV的攻击方法能够生成嵌入级和提示级的攻击，自动调整扰动参数，并显著提升了攻击成功率和响应质量。

随着组织在身份和访问管理（IAM）方面面临越来越多的挑战，很明显，需要一种更强大的方法来对抗基于身份的攻击的传播。 虽然人工智能是问题的一部分，但它也可能是解决方案的一部分。 理解身份挑战身份无疑是组织最大的攻击面，它可以跨越位置、账户和设备。

近日，谷歌宣布其大语言模型（LLM）项目“Big Sleep”成功发现了一个SQLite数据库引擎中的内存安全漏洞，这是人工智能首次在真实软件中发现可利用的内存安全漏洞（且该漏洞无法通过传统的模糊测试检测到）。 AI首次发现内存安全漏洞谷歌的“Project Naptime”项目旨在评估LLM在进攻性安全研究方面的能力，后来该项目演变为“Big Sleep”，由谷歌Project Zero和Dee…

感谢谷歌公司于 10 月 24 日发布博文，宣布推出 SAIF 风险评估工具，旨在帮助人工智能开发者和组织评估其安全态势，识别潜在风险，并实施更强的安全措施。 SAIF 简介AI在线注：谷歌去年发布了安全人工智能框架（SAIF），旨在帮助用户安全、负责任地部署 AI 模型，SAIF 不仅分享了最佳实践，还为行业提供了一个安全设计的框架。 为了推广这一框架，谷歌与行业伙伴共同成立了安全人工智能联盟（…

科技媒体 MacRumors 昨日（10 月 24 日）发布博文，报道称苹果公司最新推出了“私有云计算”（Private Cloud Compute）的云智能系统，确保 Apple Intelligence 在云端处理数据时构筑安全的请求环境。 苹果公司承诺安全和隐私研究人员可以验证“私有云计算”中的端到端安全和隐私承诺，并向安全研究人员公开“私有云计算”虚拟研究环境（VRE）及其他材料。 苹果公…

感谢据央视新闻今日报道，在 2024 年国家网络安全宣传周主论坛上，全国网络安全标准化技术委员会发布《人工智能安全治理框架》1.0 版。制定该《框架》旨在落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险。《框架》提出了包容审慎、确保安全，风险导向、敏捷…

世界数字技术院（WDTA）公众号昨日（9 月 6 日）发布博文，宣布其在外滩大会上正式发布了国际标准《大模型供应链安全要求》。该标准由云安全联盟（CSA）大中华区联合蚂蚁集团、微软、谷歌、百度、NIST、Meta、PrivateAI 等数十家单位的专家共同编制。AI在线注：这是业内首个大模型供应链安全国际标准，标志着全球 AI 治理的国际合作又迈出了坚实的一步。云安全联盟（CSA）大中华区主席李雨…

中国互联网协会 29 日宣布，2024（首届）中国数字人大会将于 9 月 23 日 —24 日在北京中关村国家自主创新示范区展示交易中心举办。本次大会以“数字人应用与未来”为主题，就关乎数字人发展的战略、技术、应用、安全、人才等问题进行系统研究。大会组织的系列精品内容包括开幕大会、多场专题论坛、两场行业赛事、多场产业生态活动。汇聚政府相关主管部门领导、院士专家、国内外数字人产业领军企业代表、相关研…

8月30日，比亚迪王朝全新IP“夏”在成都车展正式发布。其同名车型、王朝首款中大型旗舰MPV夏全球首发亮相！新车基于比亚迪新一代插混整车平台打造，采用华美龙颜设计语言，拥有技术、平台、安全、设计、空间、智能六大核心价值，预计售价30万起，将于年内正式上市，全球销售！在中高端市场为用户提供豪华MPV全新选择。何以华夏？“夏”命名故事作为中华民族的朝代之首，夏朝奠定了整个华夏文明的基石。以首为尊，以夏…

OpenAI 一直致力于开发能够造福全人类的人工智能技术，然而最近的一份报告揭示了一个令人担忧的现象：近一半曾专注于超级智能 AI 长期风险的研究人员已经离开了这家公司。图源 Pexels据 Fortune 报道，OpenAI 前治理研究员 Daniel Kokotajlo 表示，在过去几个月里，OpenAI 几乎一半的 AGI 安全团队成员已经离职。这引发了外界对公司是否正在忽视 AI 安全性的…

感谢人工智能公司 OpenAI 和 Anthropic 已经同意允许美国政府在这些公司发布重大新的人工智能模型之前访问这些模型，以帮助提高它们的安全性。图源 Pexels美国人工智能安全研究所（US AI Safety Institute）周四宣布，这两家公司已经与该研究所签署了谅解备忘录，承诺在模型公开发布之前和之后提供访问权限。美国政府表示，这一举措将有助于他们共同评估安全风险并缓解潜在问题。…

感谢OpenAI 首席执行官山姆・阿尔特曼（Sam Altman）昨日（8 月 1 日）在 X 平台发布推文，宣布为 AI 安全相关研究和开发工作，保障提供至少 20% 计算资源。AI在线翻译该推文内容如下：OpenAI 在 AI 安全方面的简要更新正如我们在 7 月下旬所说的，我们保障调配至少 20% 的计算资源，用于 AI 安全方面的工作。我们已经和美国人工智能安全研究所达成协议，让其提前访问…

专门推动全球结构化信息标准的非营利组织 OASIS Open（由微软、英伟达、英特尔、谷歌、OpenAI、IBM、亚马逊、思科等厂商组建）在 7 月 18 日宣布建立 CoSAI 安全联盟（Coalition for Secure AI，安全 AI 联盟）。AI在线获悉，该联盟计划与学术界共同解决三大重点领域，分别是 AI 软件供应链安全性、网络领域安全性及 AI 安全治理性。同时将与 Front…

今日，极氪智能科技正式发布豪华旗舰MPV全新极氪009，其左舵和右舵版本全球同步发售。中国大陆地区的官方零售价为43.9万元起，中国香港地区的用户，在享受一换一补贴后零售价为港元75.5万起。即日起，中国大陆地区的用户可通过极氪App、极氪官网、全国各大城市的极氪门店等官方渠道进行订购。2024年8月31日 24:00（含）前支付定金2万元的用户，可享受限时购车权益：2024年7月19日 21:0…

感谢昨日举办的阿斯彭安全论坛（Aspen Security Forum）会议中，谷歌、微软、OpenAI、亚马逊、英伟达、英特尔等 14 家 AI 领域的大公司宣布联合组建安全人工智能联盟（Coalition for Secure AI，CoSAI）。CoSAI 由 OASIS 全球标准机构主办，是一项开源计划，旨在为所有 AI 从业人员和开发人员提供创建设计安全人工智能系统所需的指导和工具。Co…