恶意行为者运用GenAI:尚未达到预期,但需警惕

网络威胁联盟 (CTA) 的最新报告得出结论,GenAI帮助降低了恶意行为者的入门门槛,并提高了他们的效率,即更快地创建令人信服的深度伪造内容、发起网络钓鱼攻击和投资诈骗。 不过,就目前而言,它并没有让攻击者变得“更聪明”,也没有彻底改变网络威胁。 恶意行为者如何使用GenAI该报告基于 CTA 成员可获得的数据和实证案例研究,解释了攻击者目前使用GenAI的几个方面:创建深度伪造视频和欺骗性图像、克隆特定声音的录音、编写高度逼真的电子邮件、信息和网站内容辅助创建恶意软件(但无法在没有额外人为输入和调整的情况下创建恶意软件)优化命令和控制操作(例如,用于管理僵尸网络)传播错误信息和虚假信息(例如,以推动网络阴谋论、影响选举活动)创建由AI控制的虚假社交媒体账户网络(机器人农场)分析人员发现,“虽然AI创新无疑具有强大功能,但到目前为止,它们只是逐步提升了对手的能力,并没有创造出全新的威胁。

网络威胁联盟 (CTA) 的最新报告得出结论,GenAI帮助降低了恶意行为者的入门门槛,并提高了他们的效率,即更快地创建令人信服的深度伪造内容、发起网络钓鱼攻击和投资诈骗。

恶意行为者运用GenAI:尚未达到预期,但需警惕

不过,就目前而言,它并没有让攻击者变得“更聪明”,也没有彻底改变网络威胁。

恶意行为者如何使用GenAI

该报告基于 CTA 成员可获得的数据和实证案例研究,解释了攻击者目前使用GenAI的几个方面:

  • 创建深度伪造视频和欺骗性图像、克隆特定声音的录音、编写高度逼真的电子邮件、信息和网站内容
  • 辅助创建恶意软件(但无法在没有额外人为输入和调整的情况下创建恶意软件)
  • 优化命令和控制操作(例如,用于管理僵尸网络)
  • 传播错误信息和虚假信息(例如,以推动网络阴谋论、影响选举活动)
  • 创建由AI控制的虚假社交媒体账户网络(机器人农场)

分析人员发现,“虽然AI创新无疑具有强大功能,但到目前为止,它们只是逐步提升了对手的能力,并没有创造出全新的威胁。”

挫败AI增强的威胁

迄今为止,基础的网络安全实践——定期软件更新、多因素身份验证、离线数据备份、终端监控、行为分析等——对于抵御所有威胁(包括那些由AI增强的威胁)仍然至关重要。

但对抗后者还需要结合技术解决方案(如深度伪造检测器)以及更为重要的持续教育、获取特定技能(如知道如何进行事实核查、反向图像搜索、验证元数据等)和鼓励批判性思维。

CTA 分析师切尔西·康纳德指出:“企业应强调以内容分析为重点的培训,并培养一种健康怀疑的文化。应鼓励员工提出诸如‘是我发起的这个请求吗?’或‘这次通信与之前的交流一致吗?’等问题。”

“其他防御措施可以依赖于技术和流程相结合的措施。技术工具可以分析内容是否被篡改,例如音频不匹配。当这些工具不足时,企业可以依赖基于流程的措施,包括多渠道验证、双重审批或预先安排的认证短语,以提供关键保障。”

好消息是,对手对GenAI的使用尚未达到炒作的程度,如果企业和机构行动迅速,他们可以部署防御措施来阻止大多数由AI增强的威胁。

相关资讯

第十六届信息安全高级论坛暨2024 RSAC热点研讨会圆满落幕

6月7日,由中国计算机学会主办,中国计算机学会计算机安全专委会、绿盟科技集团、360集团承办的“第十六届信息安全高级论坛暨2024 RSAC热点研讨会”在北京圆满落幕。 大会汇聚政、产、学、研各方力量,围绕2024年RSA大会中热点观察、创新技术所引发的安全新思考、新理念展开深入探讨。 大咖云集——共探AI赋能产业发展之策公安部第一研究所所领导、中国计算机学会计算机安全专业委员会常务副主任于锐在致辞中表示,作为全球信息安全领域最具影响力、规模最大、水平最高的产业峰会之一,RSA大会已成为当前快速了解全球网络安全发展趋势重要风向标。

企业为何仍挣扎于数据治理:挑战与破局之道

尽管AI和分析技术得到广泛使用,但许多企业的数据治理仍不到位,这在网络安全和合规性等多个层面都存在风险,更不用说对各种利益相关者的潜在影响了。 简而言之,随着企业对数据的依赖程度不断增加,数据治理变得越来越必要,而非减少。 Info-Tech Research Group负责数据、分析、企业架构和AI的首席研究总监Steve Willis提供了一个令人清醒的统计数字:大约50%至75%的数据治理计划都失败了。

网络安全的第六感:AI如何在威胁发生之前发现它们

在采访中,Reaktr.ai的总裁Vineet Chaku探讨了AI如何改变网络安全,特别是在异常检测和威胁识别方面。 Chaku谈到了网络安全专业人员与AI系统协作所需的技能,以及如何解决围绕AI部署的伦理问题。 AI如何改变传统的网络安全方法,特别是在异常检测和威胁识别方面?过去,网络安全就像在不停地追赶,我们总是对最新出现的问题做出反应,试图在坏事发生后进行修补,但AI正在改变这一状况,这就像我们终于找到了一种方法,能够抢先一步,在问题发生之前就发现它们。