企业AI数据泄露风险加剧:CISO如何应对?

企业员工正以惊人的速度通过未授权和已授权的GenAI应用泄露敏感企业数据。 堵住这些泄露至关重要,以降低风险暴露。 员工通过GenAI泄露数据正成为企业的噩梦。

企业AI数据泄露风险加剧:CISO如何应对?

企业员工正以惊人的速度通过未授权和已授权的GenAI应用泄露敏感企业数据。堵住这些泄露至关重要,以降低风险暴露。

员工通过GenAI泄露数据正成为企业的噩梦。

根据Harmonic最近发布的关于GenAI数据泄露的报告,8.5%的员工向热门大型语言模型(LLM)发送的提示中包含敏感数据,这引发了安全、合规、隐私和法律方面的担忧。

Harmonic在2024年第四季度分析了数万个向ChatGPT、Copilot、Gemini、Claude和Perplexity发送的提示,发现客户数据(包括账单信息和认证数据)占泄露数据的最大比例,为46%。Harmonic特别指出,保险索赔是一种充满客户数据的报告类型,员工经常将其输入GenAI工具中以节省处理时间。

员工数据(包括薪资数据和个人身份信息PII)占敏感提示的27%,其次是法律和财务数据,占15%。

“与安全相关的信息占敏感提示的6.88%,尤其令人担忧,”报告称。“例如,渗透测试结果、网络配置和事件报告。这些数据可能为攻击者提供利用漏洞的蓝图。”

走出阴影

GenAI数据泄露是一个棘手的问题,也是企业GenAI战略让CISO陷入困境的主要原因之一。

企业LLM的使用大致分为三类:授权部署,包括许可和内部开发的实施,影子AI,通常包括企业出于合理原因禁止使用的免费消费级应用,以及半影子GenAI。

未授权的影子AI是CISO面临的主要问题,但最后一类问题日益严重,可能是最难控制的。半影子AI由业务部门负责人发起,可能包括未经IT批准的付费GenAI应用,用于实验、提高效率或增强生产力。在这种情况下,高管可能在进行影子IT活动,而一线业务员工则没有,因为他们被告知要使用这些工具作为企业AI战略的一部分。

无论是影子AI还是半影子AI,免费GenAI应用都是最成问题的,因为它们的许可条款通常允许对每个查询进行训练。根据Harmonic的研究,免费层级AI的使用占敏感数据泄露的最大比例。例如,54%的敏感提示是在ChatGPT的免费层级上输入的。

但大多数数据专家也劝阻CISO不要相信付费GenAI应用的合同承诺,其中大多数禁止在企业版本中对用户查询进行训练。

Carstens, Allen & Gourley知识产权律师事务所的律师Robert Taylor以商业秘密为例。他说,如果员工向GenAI系统提出一个问题,该问题揭示了商业秘密,那么各种法律保护(尤其是商业秘密保护)可能会丧失。他还补充说,保护知识产权的律师经常让团队成员向各种AI应用询问关于商业秘密的问题,以查看是否发现了禁止的数据。如果是这样,那么他们就知道有人泄露了信息。

如果竞争对手得知了泄露事件,它可以在法庭上辩称泄露事件使商业秘密的法律保护失效。据Taylor称,IP所有者的律师必须证明企业部署了一系列机制来保护秘密。依赖合同中禁止对GenAI查询进行训练的条款“并不是足够合理的努力水平”,Taylor说。

“这将是一个综合考虑各种情况的情况,”他说。企业必须部署并严格执行“限制员工使用数据的政策”。

数据意识实践

Forrester的副总裁兼首席分析师Jeff Pollard表示,CISO应与业务领导者合作,确保员工接受培训,以了解如何从LLM中获得相同结果而无需使用受保护的数据。这样做需要对提示进行更精细的处理,但可以保护敏感信息而不削弱AI生成答案的有效性。

“你真的不需要透露敏感信息就能从系统中获得正面收益,但我们必须培训用户了解查询措辞”策略,Pollard说。

当谈到员工使用免费AI工具而不是受限制的企业付费应用时,“打击员工是最明显的事情,但核心问题是:‘为什么员工要这么做?’”Gartner的杰出副总裁兼分析师Arun Chandrasekaran问道。

“员工之所以这么做,是因为IT没有为他们提供所需的工具。”他辩称。

Chandrasekaran表示,CISO应向他们的C级高管指出这一点,以帮助执行企业范围内的AI工具应“真正可用”的原则。

不幸的是,据软件供应商Unily的高级社区和合作伙伴营销经理Kaz Hassan称,对于GenAI来说,木已成舟。

“员工对AI的使用已经超出了IT团队追赶的能力,”他说。“IT团队知道情况不妙,但无法破解沟通、文化或战略方面的难题以产生影响。”

Hassan补充说:“需要一个新的蓝图,组织现在需要明确的AI战略来降低风险,并且需要立即将AI融入员工的技术堆栈中。”

他声称,典型的监控和控制应用未能抓住数据泄露的要点。

“高级用户通过未授权的AI工具处理敏感数据,不是因为他们无法被控制,而是因为他们不会被放慢速度。旧的限制和保护策略不仅失败了——它还在积极推动AI创新走向阴影,”Hassan说。“CISO需要面对这个现实:要么领导AI转型,要么眼睁睁看着自己的安全边界瓦解。”

Hassan指出,GenAI带来的数据问题有两个方向:敏感数据通过查询泄露出去,以及有缺陷的数据(无论是通过幻觉还是基于错误信息的训练)通过GenAI答案进入企业,而你的团队依赖这些答案进行企业分析。

“当今的CISO不应只担心敏感数据泄露出去,”Hassan说。“他们还应该担心坏数据进来。”

相关资讯

新的 AI 安全在 2025 年正对 CISO 及其团队构成挑战

安全团队总是必须适应变化,但2025年将出现的新发展可能会使变化特别具有挑战性。 AI 创新步伐的加快、日益复杂的网络威胁和新的监管政策将要求首席信息安全官 (CISO) 驾驭更复杂的环境。 供应商正在迅速将AI 功能添加到现有产品中,其使用的基础大型语言模型 (LLM) 在增强产品能力的同时也暴露了新的攻击面给攻击者,企业CISO 需要了解他们面临这些威胁的严重程度,以及如何缓解这些威胁。

2025,CISO的AI元年

2025年被称为“CISO的AI元年”,因为这一年,首席信息安全官(CISO)们将解锁生成式人工智能(GenAI)的全部潜力,开启网络安全新时代。 随着生成式人工智能技术的不断成熟,其功能不再局限于回答问题,而是能够提供主动建议、执行具体行动,并以个性化方式与用户互动。 这一技术变革将使CISO及其团队得以充分利用GenAI的真正价值,全面增强网络安全防御能力。

AI红队:构建安全AI只是梦想

负责微软100多个GenAI产品红队测试的团队得出结论,构建安全可靠的AI系统的工作永远不会完成。 本周发表的一篇论文中,包括微软Azure首席技术官Mark Russinovich在内的作者们描述了团队的一些工作,并提出了八项建议,旨在“使红队测试工作与现实世界的风险相一致”。 论文的主要作者、微软AI红队(AIRT)研究员Blake Bullwinkel和他的25位合著者在论文中写道:“随着GenAI系统在越来越多领域的应用,AI红队测试已成为评估这些技术安全性和可靠性的核心实践。