AI在线 AI在线

生成式AI正将员工转化为无意识的内鬼威胁:企业安全新挑战

作者:AI小蜜蜂
2025-04-01 08:50
根据Netskope最新研究,企业向生成式AI(GenAI)应用共享的数据量呈现爆炸式增长,一年内激增30倍。 目前平均每家企业每月向AI工具传输的数据量已达7.7GB,较一年前的250MB实现跨越式增长。 这些数据包含源代码、受监管数据、密码密钥和知识产权等敏感信息,大幅增加了数据泄露、合规违规和知识产权盗窃的风险。

根据Netskope最新研究,企业向生成式AI(GenAI)应用共享的数据量呈现爆炸式增长,一年内激增30倍。目前平均每家企业每月向AI工具传输的数据量已达7.7GB,较一年前的250MB实现跨越式增长。

生成式AI正将员工转化为无意识的内鬼威胁:企业安全新挑战

这些数据包含源代码、受监管数据、密码密钥和知识产权等敏感信息,大幅增加了数据泄露、合规违规和知识产权盗窃的风险。75%的企业用户正在使用具备生成式AI功能的应用,这给安全团队带来了新挑战:无意识的内鬼威胁。

生成式AI应用带来持续升级的网络安全风险

数据显示,90%的企业有员工直接使用ChatGPT、Google Gemini和GitHub Copilot等生成式AI应用,98%的企业员工使用Gladly、Insider等集成AI功能的应用程序。从数据安全视角看,最关键的风险指标是传输至AI应用的数据量——每次上传都可能成为数据泄露的导火索。

Netskope首席信息安全官James Robinson指出:"尽管企业努力推广官方管理的AI工具,但我们的研究表明,影子IT已演变为影子AI——近四分之三用户仍通过个人账户访问生成式AI应用。这种趋势与共享数据的敏感性相结合,凸显了企业需要增强数据安全能力,以重新获得对AI使用的治理权、可见性和使用规范。"

企业对AI数据缺乏有效管控

多数组织对间接使用生成式AI时的数据处理、存储和利用方式缺乏完整可见性。常见做法是采取"先阻断后审查"策略,仅允许特定应用而屏蔽其他所有AI工具。但安全管理者需要制定安全启用策略,平衡员工对效率提升的需求与风险管控。

典型案例是DeepSeek AI——Netskope发现该应用在2025年1月上线后数周内,就有91%的企业出现访问尝试。当时大多数企业尚未制定相关安全政策,使企业暴露于未知风险。更严重的是,员工可能在不知情的情况下向AI输入商业机密,包括源代码、知识产权、受监管数据甚至密码等敏感信息。

Netskope威胁实验室总监Ray Canzanese强调:"生成式AI已从边缘技术发展为无处不在的基础设施,从独立应用到后端集成日益普及。这种泛在化带来持续升级的网络安全挑战,要求企业采取全面风险管理措施,否则敏感数据可能被第三方用于训练新AI模型,引发更广泛的数据泄露风险。"

本地化部署催生新型安全威胁

过去一年,企业本地部署生成式AI基础设施的比例从不足1%飙升至54%。虽然这降低了云端第三方应用的数据暴露风险,但本地化部署带来了供应链风险、数据泄漏、输出处理不当等新型威胁,以及提示词注入、越狱攻击和元提示提取等特有风险。因此许多企业在已有云端AI应用基础上,叠加部署了本地化AI基础设施。

影子AI现象持续蔓延

虽然多数企业已使用生成式AI,但主动使用独立AI应用的用户比例虽小却持续增长。过去一年企业内使用AI应用的人数几乎翻倍,平均每家企业4.9%的员工使用生成式AI应用。

企业AI应用采用模式延续了云服务的典型路径:员工通过个人账户使用应用。这导致企业内大部分AI使用可归类为影子IT(指未经IT部门批准使用的解决方案)。专为AI解决方案创造的"影子AI"新术语,更强调这些应用的隐蔽性和非正式性。即使在ChatGPT引发AI热潮两年后的今天,72%的用户仍通过个人账户在工作场所使用ChatGPT、Google Gemini等主流AI应用。

Netskope安全与情报运营副总裁Ari Giguere表示:"AI不仅重塑边界安全和平台安全,更在重写安全规则。"

目前99%的企业正在实施风险管控政策,包括全面禁用AI应用、限制特定用户群体使用,以及控制输入AI的数据类型等措施。这些政策的具体实施方式将在后续详细解析。

相关资讯

初级开发者过度依赖 AI 的风险

当ChatGPT等工具出现故障时,软件开发人员离开工位、临时休息或沮丧地靠在椅背上的场景并不罕见。 对许多技术从业者而言,AI辅助编码工具已成为日常便利。 即便是像2025年3月24日那样的短暂中断,也可能导致开发工作停滞。
4/8/2025 8:05:00 AM
AI小蜜蜂

如何避免交叉验证中的数据泄露?

大家好,我是小寒在机器学习中,交叉验证(Cross-Validation)是一种常用的模型评估技术,目的是通过将数据集分割为多个子集,反复训练和验证模型,以便更好地估计模型的性能。 然而,在交叉验证过程中,数据泄露(Data Leakage) 是一个非常严重的问题,它会导致模型的评估结果过于乐观,进而使得模型在实际应用中表现不佳。 什么是数据泄露数据泄露是指在模型训练过程中,模型不恰当地接触到了与验证集或测试集相关的信息,导致模型的训练过程中“提前知道”了本应该不在训练数据中的信息。
1/22/2025 7:59:59 AM
程序员小寒

Gartner预测到2027年,跨境GenAI滥用引起的AI数据泄露比例将达到40%

Gartner预测,到2027年,跨境生成式人工智能(GenAI)引起的AI相关数据泄露比例将超过40%。 GenAI在终端用户中的普及速度已超过了数据治理和安全措施的发展速度,而支持这些技术所需的集中算力引发了对数据本地化的担忧。 Gartner研究副总裁Joerg .
2/21/2025 2:50:19 PM