安全
攻破AI最强守卫，赏金2万刀！Anthropic新方法可阻止95% Claude「越狱」行为
最近，Anthropic安全研究团队「有点忙」。 本月4日，Anthropic在X上，邀请网友挑战新的AI防护系统。 两天后，Anthropic称：目前，没有人完全越狱新系统，因此提高了赌注。
2/17/2025 2:41:31 PM
新智元
红队必看：生成式AI安全的八大实战教训
随着ChatGPT和DeepSeek应用的野火燎原，生成式AI（GenAI）安全威胁已从理论风险迅速演变为迫在眉睫的全球性威胁。 微软AI红队（AIRT）近日分享了其过去六年中对100余个生成式AI产品进行的深度红队测试，覆盖文本、图像、视频多模态模型及Copilot等集成系统。 这些实战经验揭示了AI系统在安全与伦理上的共性漏洞，也颠覆了传统攻防思维。
2/6/2025 3:16:19 PM
GoUpSec
DeepSeek 火爆了，主打高性能低价格！
大家好，我是君哥。 春节这几天，DeepSeek 可以说是火爆了，铺天盖地都是 DeepSeek 的报道。 今天，我们一起学习一下 DeepSeek。
2/3/2025 12:00:15 AM
朱晋君
一款可快速定位照片的AI工具
由波士顿Graylark Technologies开发的GeoSpy是一款强大的AI工具，可通过分析图像中的建筑风格、植被类型以及建筑物之间的空间关系等特征，在几秒钟内高精度定位照片的拍摄位置。 这项技术引起了公众和执法机构的广泛关注，其市场定位为执法部门、威胁情报公司和政府机构提供服务。 GeoSpy经过数百万张全球图片训练，能够识别“显著的地理标志”，如特定的建筑样式、土壤特征及其空间排列关系。
1/22/2025 4:13:07 PM
佚名
CES 2025的十大“人工智障”产品
人工智能是CES 2025的核心主题。 然而，人工智能不是万能锤子，并非所有的创新都是“好”的创新。 在今年的展会上，国外一群“砖家”评选出了CES 2025的十大“人工智障”产品，包括滥用隐私监控技术的家电和功能过剩的智能设备，这些产品因存在维修困难、隐私风险高、对环境不友好等问题被看作是“智商税”产品。
1/14/2025 2:17:20 PM
佚名
AI机器人的头号威胁：大模型越狱
随着ChatGPT等AI聊天机器人以及基于大语言模型的应用席卷全球，越来越多的公司开始将这种技术引入机器人控制。 然而，最新研究发现，黑客可以通过自动化方式轻松绕过AI系统的安全防护，甚至能够操控机器人执行极具破坏性的任务，例如控制自动驾驶系统撞向行人，或者将机器狗引导到敏感地点实施爆炸任务。 从文本到行动：大模型赋能机器人大语言模型的核心功能类似于智能手机的“自动补全”，通过分析用户输入内容预测下一步操作。
12/13/2024 3:41:46 PM
佚名
CCF-CV携手合合信息打造技术分享论坛，聚焦大模型时代中的视觉安全前沿热点
近期，《咬文嚼字》杂志发布了2024年度十大流行语，“智能向善”位列其中，过去一年时间里，深度伪造、AI诈骗等话题屡次登上热搜，AI技术“野蛮生长”引发公众担忧。 今年9月，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》，指出人工智能既面临自身技术缺陷、不足带来的内生风险，也面临不当使用、滥用甚至恶意利用带来的外部风险。 为探寻AI安全治理道路，近期，由中国计算机学会计算机视觉专委会主办，合合信息承办，中国运筹学会数学与智能分会协办的《打造大模型时代的可信AI》论坛（简称“论坛”）顺利举行。
12/13/2024 11:22:00 AM
机器之心
地区冲突助推网络攻击激增，由AI驱动的勒索软件成新威胁
据 Trellix 称，诸如俄罗斯持续入侵乌克兰以及以色列与哈马斯之间的冲突等多起地区性冲突，已导致网络攻击和黑客活动激增。 AI驱动的勒索软件助长了网络犯罪手段该研究审视了一个日益复杂的勒索软件生态系统，其中犯罪团伙采用嵌入AI的先进工具来传播勒索软件。 Trellix 的遥测数据显示，与中国相关的威胁行为体团伙仍然是国家支持的高级持续性威胁 (APT) 活动的主要来源，仅 Mustang Panda 就产生了超过 12% 的已检测 APT 活动。
12/2/2024 2:10:21 PM
D1net编译
值得关注的10大终端安全解决方案和10大选型要点
10个值得关注终端安全解决方案从传统防病毒到AI驱动的智能防护，从单点防御到整体安全架构，当前终端安全产品正在经历深刻的技术变革，很多新的技术都在显著增加方案的价值。 1Singularity Endpoint SecuritySentinelOne的Singularity Endpoint Security是一款先进的端点安全解决方案，旨在通过AI技术实现自主的端点防护、检测与响应（EDR）。 该平台整合了端点保护（EPP）、EDR、物联网安全和云工作负载保护（CWPP）的功能，提供一个统一的安全平台，以应对现代复杂的网络威胁。
12/2/2024 1:29:46 PM
人大&港科大揭示大模型重要安全风险漏洞：利用概念激活向量破解大模型的安全对齐｜NeurIPS 2024
利用概念激活向量破解大模型的安全对齐，揭示LLM重要安全风险漏洞。 来自人大&港科大的研究人员提出安全概念激活向量（SCAV）框架，通过精确解读大模型的安全机制来指导攻击。 基于SCAV的攻击方法能够生成嵌入级和提示级的攻击，自动调整扰动参数，并显著提升了攻击成功率和响应质量。
11/18/2024 11:00:00 AM
量子位
人工智能是保护身份的秘密武器吗？
随着组织在身份和访问管理（IAM）方面面临越来越多的挑战，很明显，需要一种更强大的方法来对抗基于身份的攻击的传播。 虽然人工智能是问题的一部分，但它也可能是解决方案的一部分。 理解身份挑战身份无疑是组织最大的攻击面，它可以跨越位置、账户和设备。
11/6/2024 2:30:38 PM
Harris编译
重大突破！AI首次发现内存安全漏洞
近日，谷歌宣布其大语言模型（LLM）项目“Big Sleep”成功发现了一个SQLite数据库引擎中的内存安全漏洞，这是人工智能首次在真实软件中发现可利用的内存安全漏洞（且该漏洞无法通过传统的模糊测试检测到）。 AI首次发现内存安全漏洞谷歌的“Project Naptime”项目旨在评估LLM在进攻性安全研究方面的能力，后来该项目演变为“Big Sleep”，由谷歌Project Zero和DeepMind团队共同参与。 Big Sleep项目致力于探索AI在发现软件漏洞中的潜力，特别关注高危漏洞的检测与利用。
11/5/2024 2:48:57 PM
佚名
填补 AI 安全空白：谷歌上线安全人工智能框架风险评估工具
感谢谷歌公司于 10 月 24 日发布博文，宣布推出 SAIF 风险评估工具，旨在帮助人工智能开发者和组织评估其安全态势，识别潜在风险，并实施更强的安全措施。 SAIF 简介AI在线注：谷歌去年发布了安全人工智能框架（SAIF），旨在帮助用户安全、负责任地部署 AI 模型，SAIF 不仅分享了最佳实践，还为行业提供了一个安全设计的框架。 为了推广这一框架，谷歌与行业伙伴共同成立了安全人工智能联盟（CoSAI），以推动关键的 AI 安全措施。
10/26/2024 8:21:09 AM
故渊
苹果为其 AI 构筑“云处理安全堡垒”：公开指南和研究环境，漏洞悬赏最高 100 万美元
科技媒体 MacRumors 昨日（10 月 24 日）发布博文，报道称苹果公司最新推出了“私有云计算”（Private Cloud Compute）的云智能系统，确保 Apple Intelligence 在云端处理数据时构筑安全的请求环境。 苹果公司承诺安全和隐私研究人员可以验证“私有云计算”中的端到端安全和隐私承诺，并向安全研究人员公开“私有云计算”虚拟研究环境（VRE）及其他材料。 苹果公司发布了一份“私有云计算”安全指南，详细介绍了“私有云计算”的所有组成部分及其如何运作以提供云端人工智能处理的隐私保护。
10/25/2024 7:01:15 AM
故渊
《人工智能安全治理框架》1.0 版发布
感谢据央视新闻今日报道，在 2024 年国家网络安全宣传周主论坛上，全国网络安全标准化技术委员会发布《人工智能安全治理框架》1.0 版。制定该《框架》旨在落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险。《框架》提出了包容审慎、确保安全，风险导向、敏捷治理，技管结合、协同应对，开放合作、共治共享等人工智能安全治理的原则。针对模型算法安全、数据安全和系统安全等内生安全风险
9/9/2024 5:19:27 PM
汪淼
业内首个 AI 大模型供应链安全国际标准发布，蚂蚁集团、微软、谷歌、百度等数十家单位共同编制
世界数字技术院（WDTA）公众号昨日（9 月 6 日）发布博文，宣布其在外滩大会上正式发布了国际标准《大模型供应链安全要求》。该标准由云安全联盟（CSA）大中华区联合蚂蚁集团、微软、谷歌、百度、NIST、Meta、PrivateAI 等数十家单位的专家共同编制。AI在线注：这是业内首个大模型供应链安全国际标准，标志着全球 AI 治理的国际合作又迈出了坚实的一步。云安全联盟（CSA）大中华区主席李雨航表示，大模型系统的运行依赖于分布在全球相互联系的供应链生态系统。李雨航表示此次发布的《大模型供应链安全要求》为大模型系
9/7/2024 12:45:37 PM
故渊
2024（首届）中国数字人大会官宣，9 月 23 日-24 日在北京举办
中国互联网协会 29 日宣布，2024（首届）中国数字人大会将于 9 月 23 日 —24 日在北京中关村国家自主创新示范区展示交易中心举办。本次大会以“数字人应用与未来”为主题，就关乎数字人发展的战略、技术、应用、安全、人才等问题进行系统研究。大会组织的系列精品内容包括开幕大会、多场专题论坛、两场行业赛事、多场产业生态活动。汇聚政府相关主管部门领导、院士专家、国内外数字人产业领军企业代表、相关研究机构、终端厂商、数字人应用单位、人工智能企业、安全企业、高校等产业链上下游，分享在数字人领域的成果、经验和观点，为数字
8/30/2024 5:09:33 PM
清源
比亚迪王朝发布全新IP“夏”，同名首款中大型旗舰MPV成都车展全球首发亮相！
8月30日，比亚迪王朝全新IP“夏”在成都车展正式发布。其同名车型、王朝首款中大型旗舰MPV夏全球首发亮相！新车基于比亚迪新一代插混整车平台打造，采用华美龙颜设计语言，拥有技术、平台、安全、设计、空间、智能六大核心价值，预计售价30万起，将于年内正式上市，全球销售！在中高端市场为用户提供豪华MPV全新选择。何以华夏？“夏”命名故事作为中华民族的朝代之首，夏朝奠定了整个华夏文明的基石。以首为尊，以夏为名，最能代表王朝旗舰MPV的定位和开创意义。同时，源远流长的华夏文明，是人类文化的瑰宝，凝聚着华夏人民智慧的结晶。以夏
8/30/2024 4:51:00 PM
新闻助手
资讯热榜
标签云
人工智能
OpenAI
AIGC
AI
ChatGPT
DeepSeek
AI绘画
数据
机器人
谷歌
模型
大模型
Midjourney
智能
用户
学习
开源
GPT
微软
Meta
AI创作
图像
技术
论文
Stable Diffusion
马斯克
Gemini
算法
蛋白质
生成式
芯片
代码
英伟达
腾讯
神经网络
计算
研究
Sora
AI for Science
3D
Anthropic
AI设计
机器学习
GPU
开发者
场景
华为
预测
伟达
Transformer
百度
苹果
人形机器人
深度学习
AI视频
模态
字节跳动
xAI
驾驶
文本
搜索
大语言模型
Claude
Copilot
具身智能
神器推荐
LLaMA
算力
安全
应用
视频生成
科技
视觉
亚马逊
干货合集
2024
AGI
特斯拉
训练
大型语言模型