安全
隐形AI风险浮现：安全专家呼吁该治理“影子AI”了
网安领导者和CISO发现，近年来大量影子AI应用程序已危及企业网络，有些甚至持续运行一年多。 这些应用并非典型的攻击手段，而是员工在无IT和安全监管的情况下私自创建的AI程序。 目的是实现从自动化报告到营销自动化、数据分析等多种功能。
韩国下架DeepSeek的安全反思
据韩联社2月17日报道，韩国个人信息保护委员会（PIPC）于本周一宣布，即日起暂停中国人工智能初创企业深度求索（DeepSeek）旗下聊天机器人应用在韩国应用商店的新用户下载服务，以审查其是否符合韩国《个人信息保护法》。 已安装用户仍可正常使用，但被建议避免输入敏感个人信息。 DeepSeek承认“欠考虑”根据PIPC公告，此次限制措施自2月15日下午6时生效，主要针对苹果AppStore和谷歌Play商店的韩国本地版本。
AI教父Hinton怒批万斯，对AI无知恐葬送全人类！
在巴黎AI行动峰会上，美国副总统万斯高举「美国优先」的大旗，明确表示美国仍将维持在AI领域的主导地位，欧洲对AI的监管在扼杀创新！ 会后，美国和英国拒绝签署关于确保AI「安全、可靠、可信」的峰会声明，拒绝相关国际承诺。 la Repubblica独家报道了诺奖得主、AI「教父」Hinton，对这种行为的猛烈抨击。
不可信任的人工智能：如何处理数据中毒？
译者 | 布加迪审校 | 重楼现代技术远非万无一失——比如说，我们可以看到，众多漏洞不断涌现出来。 虽然通过设计保证安全的系统是一条屡试不爽的最佳实践，但这么做可能会分流来自其他方面的资源，比如用户体验（UX）设计、性能优化以及与其他解决方案及服务的互操作性。 因此，安全常常退居次席，只满足最低限度的合规要求。
攻破AI最强守卫，赏金2万刀！Anthropic新方法可阻止95% Claude「越狱」行为
最近，Anthropic安全研究团队「有点忙」。 本月4日，Anthropic在X上，邀请网友挑战新的AI防护系统。 两天后，Anthropic称：目前，没有人完全越狱新系统，因此提高了赌注。
红队必看：生成式AI安全的八大实战教训
随着ChatGPT和DeepSeek应用的野火燎原，生成式AI（GenAI）安全威胁已从理论风险迅速演变为迫在眉睫的全球性威胁。 微软AI红队（AIRT）近日分享了其过去六年中对100余个生成式AI产品进行的深度红队测试，覆盖文本、图像、视频多模态模型及Copilot等集成系统。 这些实战经验揭示了AI系统在安全与伦理上的共性漏洞，也颠覆了传统攻防思维。
DeepSeek 火爆了，主打高性能低价格！
大家好，我是君哥。 春节这几天，DeepSeek 可以说是火爆了，铺天盖地都是 DeepSeek 的报道。 今天，我们一起学习一下 DeepSeek。
一款可快速定位照片的AI工具
由波士顿Graylark Technologies开发的GeoSpy是一款强大的AI工具，可通过分析图像中的建筑风格、植被类型以及建筑物之间的空间关系等特征，在几秒钟内高精度定位照片的拍摄位置。 这项技术引起了公众和执法机构的广泛关注，其市场定位为执法部门、威胁情报公司和政府机构提供服务。 GeoSpy经过数百万张全球图片训练，能够识别“显著的地理标志”，如特定的建筑样式、土壤特征及其空间排列关系。
CES 2025的十大“人工智障”产品
人工智能是CES 2025的核心主题。 然而，人工智能不是万能锤子，并非所有的创新都是“好”的创新。 在今年的展会上，国外一群“砖家”评选出了CES 2025的十大“人工智障”产品，包括滥用隐私监控技术的家电和功能过剩的智能设备，这些产品因存在维修困难、隐私风险高、对环境不友好等问题被看作是“智商税”产品。
AI机器人的头号威胁：大模型越狱
随着ChatGPT等AI聊天机器人以及基于大语言模型的应用席卷全球，越来越多的公司开始将这种技术引入机器人控制。 然而，最新研究发现，黑客可以通过自动化方式轻松绕过AI系统的安全防护，甚至能够操控机器人执行极具破坏性的任务，例如控制自动驾驶系统撞向行人，或者将机器狗引导到敏感地点实施爆炸任务。 从文本到行动：大模型赋能机器人大语言模型的核心功能类似于智能手机的“自动补全”，通过分析用户输入内容预测下一步操作。
CCF-CV携手合合信息打造技术分享论坛，聚焦大模型时代中的视觉安全前沿热点
近期，《咬文嚼字》杂志发布了2024年度十大流行语，“智能向善”位列其中，过去一年时间里，深度伪造、AI诈骗等话题屡次登上热搜，AI技术“野蛮生长”引发公众担忧。 今年9月，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》，指出人工智能既面临自身技术缺陷、不足带来的内生风险，也面临不当使用、滥用甚至恶意利用带来的外部风险。 为探寻AI安全治理道路，近期，由中国计算机学会计算机视觉专委会主办，合合信息承办，中国运筹学会数学与智能分会协办的《打造大模型时代的可信AI》论坛（简称“论坛”）顺利举行。
地区冲突助推网络攻击激增，由AI驱动的勒索软件成新威胁
据 Trellix 称，诸如俄罗斯持续入侵乌克兰以及以色列与哈马斯之间的冲突等多起地区性冲突，已导致网络攻击和黑客活动激增。 AI驱动的勒索软件助长了网络犯罪手段该研究审视了一个日益复杂的勒索软件生态系统，其中犯罪团伙采用嵌入AI的先进工具来传播勒索软件。 Trellix 的遥测数据显示，与中国相关的威胁行为体团伙仍然是国家支持的高级持续性威胁 (APT) 活动的主要来源，仅 Mustang Panda 就产生了超过 12% 的已检测 APT 活动。
值得关注的10大终端安全解决方案和10大选型要点
10个值得关注终端安全解决方案从传统防病毒到AI驱动的智能防护，从单点防御到整体安全架构，当前终端安全产品正在经历深刻的技术变革，很多新的技术都在显著增加方案的价值。 1Singularity Endpoint SecuritySentinelOne的Singularity Endpoint Security是一款先进的端点安全解决方案，旨在通过AI技术实现自主的端点防护、检测与响应（EDR）。 该平台整合了端点保护（EPP）、EDR、物联网安全和云工作负载保护（CWPP）的功能，提供一个统一的安全平台，以应对现代复杂的网络威胁。
人大&港科大揭示大模型重要安全风险漏洞：利用概念激活向量破解大模型的安全对齐｜NeurIPS 2024
利用概念激活向量破解大模型的安全对齐，揭示LLM重要安全风险漏洞。 来自人大&港科大的研究人员提出安全概念激活向量（SCAV）框架，通过精确解读大模型的安全机制来指导攻击。 基于SCAV的攻击方法能够生成嵌入级和提示级的攻击，自动调整扰动参数，并显著提升了攻击成功率和响应质量。
人工智能是保护身份的秘密武器吗？
随着组织在身份和访问管理（IAM）方面面临越来越多的挑战，很明显，需要一种更强大的方法来对抗基于身份的攻击的传播。 虽然人工智能是问题的一部分，但它也可能是解决方案的一部分。 理解身份挑战身份无疑是组织最大的攻击面，它可以跨越位置、账户和设备。
重大突破！AI首次发现内存安全漏洞
近日，谷歌宣布其大语言模型（LLM）项目“Big Sleep”成功发现了一个SQLite数据库引擎中的内存安全漏洞，这是人工智能首次在真实软件中发现可利用的内存安全漏洞（且该漏洞无法通过传统的模糊测试检测到）。 AI首次发现内存安全漏洞谷歌的“Project Naptime”项目旨在评估LLM在进攻性安全研究方面的能力，后来该项目演变为“Big Sleep”，由谷歌Project Zero和DeepMind团队共同参与。 Big Sleep项目致力于探索AI在发现软件漏洞中的潜力，特别关注高危漏洞的检测与利用。
填补 AI 安全空白：谷歌上线安全人工智能框架风险评估工具
感谢谷歌公司于 10 月 24 日发布博文，宣布推出 SAIF 风险评估工具，旨在帮助人工智能开发者和组织评估其安全态势，识别潜在风险，并实施更强的安全措施。 SAIF 简介AI在线注：谷歌去年发布了安全人工智能框架（SAIF），旨在帮助用户安全、负责任地部署 AI 模型，SAIF 不仅分享了最佳实践，还为行业提供了一个安全设计的框架。 为了推广这一框架，谷歌与行业伙伴共同成立了安全人工智能联盟（CoSAI），以推动关键的 AI 安全措施。
苹果为其 AI 构筑“云处理安全堡垒”：公开指南和研究环境，漏洞悬赏最高 100 万美元
科技媒体 MacRumors 昨日（10 月 24 日）发布博文，报道称苹果公司最新推出了“私有云计算”（Private Cloud Compute）的云智能系统，确保 Apple Intelligence 在云端处理数据时构筑安全的请求环境。 苹果公司承诺安全和隐私研究人员可以验证“私有云计算”中的端到端安全和隐私承诺，并向安全研究人员公开“私有云计算”虚拟研究环境（VRE）及其他材料。 苹果公司发布了一份“私有云计算”安全指南，详细介绍了“私有云计算”的所有组成部分及其如何运作以提供云端人工智能处理的隐私保护。