恶意行为者运用GenAI:尚未达到预期,但需警惕

网络威胁联盟 (CTA) 的最新报告得出结论,GenAI帮助降低了恶意行为者的入门门槛,并提高了他们的效率,即更快地创建令人信服的深度伪造内容、发起网络钓鱼攻击和投资诈骗。 不过,就目前而言,它并没有让攻击者变得“更聪明”,也没有彻底改变网络威胁。 恶意行为者如何使用GenAI该报告基于 CTA 成员可获得的数据和实证案例研究,解释了攻击者目前使用GenAI的几个方面:创建深度伪造视频和欺骗性图像、克隆特定声音的录音、编写高度逼真的电子邮件、信息和网站内容辅助创建恶意软件(但无法在没有额外人为输入和调整的情况下创建恶意软件)优化命令和控制操作(例如,用于管理僵尸网络)传播错误信息和虚假信息(例如,以推动网络阴谋论、影响选举活动)创建由AI控制的虚假社交媒体账户网络(机器人农场)分析人员发现,“虽然AI创新无疑具有强大功能,但到目前为止,它们只是逐步提升了对手的能力,并没有创造出全新的威胁。

网络威胁联盟 (CTA) 的最新报告得出结论,GenAI帮助降低了恶意行为者的入门门槛,并提高了他们的效率,即更快地创建令人信服的深度伪造内容、发起网络钓鱼攻击和投资诈骗。

恶意行为者运用GenAI:尚未达到预期,但需警惕

不过,就目前而言,它并没有让攻击者变得“更聪明”,也没有彻底改变网络威胁。

恶意行为者如何使用GenAI

该报告基于 CTA 成员可获得的数据和实证案例研究,解释了攻击者目前使用GenAI的几个方面:

  • 创建深度伪造视频和欺骗性图像、克隆特定声音的录音、编写高度逼真的电子邮件、信息和网站内容
  • 辅助创建恶意软件(但无法在没有额外人为输入和调整的情况下创建恶意软件)
  • 优化命令和控制操作(例如,用于管理僵尸网络)
  • 传播错误信息和虚假信息(例如,以推动网络阴谋论、影响选举活动)
  • 创建由AI控制的虚假社交媒体账户网络(机器人农场)

分析人员发现,“虽然AI创新无疑具有强大功能,但到目前为止,它们只是逐步提升了对手的能力,并没有创造出全新的威胁。”

挫败AI增强的威胁

迄今为止,基础的网络安全实践——定期软件更新、多因素身份验证、离线数据备份、终端监控、行为分析等——对于抵御所有威胁(包括那些由AI增强的威胁)仍然至关重要。

但对抗后者还需要结合技术解决方案(如深度伪造检测器)以及更为重要的持续教育、获取特定技能(如知道如何进行事实核查、反向图像搜索、验证元数据等)和鼓励批判性思维。

CTA 分析师切尔西·康纳德指出:“企业应强调以内容分析为重点的培训,并培养一种健康怀疑的文化。应鼓励员工提出诸如‘是我发起的这个请求吗?’或‘这次通信与之前的交流一致吗?’等问题。”

“其他防御措施可以依赖于技术和流程相结合的措施。技术工具可以分析内容是否被篡改,例如音频不匹配。当这些工具不足时,企业可以依赖基于流程的措施,包括多渠道验证、双重审批或预先安排的认证短语,以提供关键保障。”

好消息是,对手对GenAI的使用尚未达到炒作的程度,如果企业和机构行动迅速,他们可以部署防御措施来阻止大多数由AI增强的威胁。

相关资讯

2025年的十大网络安全预测

人工智能在2025年仍将是一个热门话题,但不要错过其他趋势,包括初始访问代理的增长、首席信息安全官(vCISO)的崛起、技术合理化等等。 每年这个时候,行业专家和分析师都会关注明年的网络安全趋势、预测和挑战。 专家预测,到2024年,生成式人工智能(GenAI)和大型语言模型将会增加,勒索软件攻击和第三方供应链挑战也将持续。

GenAI将员工变成无意的内部威胁

根据Netskope的数据,企业与GenAI应用共享的数据量激增,一年内增长了30倍。 现在,平均每个企业每月与AI工具共享的数据超过7.7GB,而一年前仅为250MB,这一数字大幅增长。 这包括源代码、受监管数据、密码和密钥以及知识产权等敏感数据,从而极大地增加了发生昂贵的数据泄露事件、合规性违规和知识产权被盗的风险。

第十六届信息安全高级论坛暨2024 RSAC热点研讨会圆满落幕

6月7日,由中国计算机学会主办,中国计算机学会计算机安全专委会、绿盟科技集团、360集团承办的“第十六届信息安全高级论坛暨2024 RSAC热点研讨会”在北京圆满落幕。 大会汇聚政、产、学、研各方力量,围绕2024年RSA大会中热点观察、创新技术所引发的安全新思考、新理念展开深入探讨。 大咖云集——共探AI赋能产业发展之策公安部第一研究所所领导、中国计算机学会计算机安全专业委员会常务副主任于锐在致辞中表示,作为全球信息安全领域最具影响力、规模最大、水平最高的产业峰会之一,RSA大会已成为当前快速了解全球网络安全发展趋势重要风向标。