AI在线 AI在线

数据泄露

隐藏在AI工作流程中的悄无声息的数据泄露

随着AI日益融入日常业务流程,数据泄露的风险也随之增加。 Prompt泄露并非罕见个例,而是员工使用大型语言模型时的自然结果。 CISO不能将其视为次要问题。
4/16/2025 7:00:00 AM
Mirko

AI Agent 破局:MCP 与 A2A 定义安全新边界

作者 | Nicky,混元安全团队朱雀实验室通信协议是AI Agent加速落地的核心基础设施之一。 Anthropic推出的MCP已逐步确立其作为AI Agent连接外部工具的标准协议地位,而Google最新发布的A2A则聚焦于打破智能体协作壁垒,推动跨Agent协同体系的构建。 作为AI Agent时代最受关注的两大通信规范,它们的安全性直接关乎AI Agent的安全边界,任何安全问题都可能引发AI Agent被劫持与数据泄露等连锁风险。
4/14/2025 9:00:00 AM
腾讯技术工程

生成式AI正将员工转化为无意识的内鬼威胁:企业安全新挑战

根据Netskope最新研究,企业向生成式AI(GenAI)应用共享的数据量呈现爆炸式增长,一年内激增30倍。 目前平均每家企业每月向AI工具传输的数据量已达7.7GB,较一年前的250MB实现跨越式增长。 这些数据包含源代码、受监管数据、密码密钥和知识产权等敏感信息,大幅增加了数据泄露、合规违规和知识产权盗窃的风险。
4/1/2025 8:50:00 AM
AI小蜜蜂

最新 AI 叛变!除了祈祷,程序员还能做什么?

作者 | 腾讯AI编程安全-啄木鸟团队我们是专注AI编程安全的啄木鸟团队,近日GitHub Copilot 和 Cursor 中出现可让AI“叛变”的新漏洞,从手法复现、风险、建议三个角度为你讲解“AI助手叛变”之事始末。 一、你的AI助手已被“策反”你可能还没察觉到,AI已经开始“叛变”程序员了。 这不是危言耸听,安全厂商 Pillar Security 在一份报告中指出了AI“背叛”程序员的证据。
3/31/2025 9:00:00 AM
腾讯技术工程

到2027年,40%人工智能数据泄露将来自跨境GenAI滥用

根据Gartner数据,到2027年超过40%的人工智能相关数据泄露将由跨境不当使用生成式人工智能(GenAI)引起。 用户对GenAI技术的应用范围和速度超过了数据治理和安全措施的发展,由于支持这些技术所需的集中计算能力有限,引发了人们对数据本地化的担忧。 Gartner副总裁分析师Joerg Fritsch表示:“由于监管不足,经常会发生意外的跨境数据传输,特别是当GenAI在没有明确描述或公告的情况下集成到现有产品中时。
3/19/2025 9:58:26 AM
佚名

Gartner预测到2027年,跨境GenAI滥用引起的AI数据泄露比例将达到40%

Gartner预测,到2027年,跨境生成式人工智能(GenAI)引起的AI相关数据泄露比例将超过40%。 GenAI在终端用户中的普及速度已超过了数据治理和安全措施的发展速度,而支持这些技术所需的集中算力引发了对数据本地化的担忧。 Gartner研究副总裁Joerg .
2/21/2025 2:50:19 PM

到2027年,生成式 AI 将导致超 40% 的数据泄露

根据 Gartner 最近的分析,到2027年,超过40% 的人工智能相关数据泄露将源于生成式人工智能(GenAI)的误用。 随着 GenAI 技术的迅速普及,企业和组织在数据治理与安全措施的制定上面临着严峻挑战。 尤其是在数据本地化的背景下,这一问题显得尤为突出,因为这些技术对集中计算能力的需求很高。
2/18/2025 11:38:00 AM
AI在线

如何避免交叉验证中的数据泄露?

大家好,我是小寒在机器学习中,交叉验证(Cross-Validation)是一种常用的模型评估技术,目的是通过将数据集分割为多个子集,反复训练和验证模型,以便更好地估计模型的性能。 然而,在交叉验证过程中,数据泄露(Data Leakage) 是一个非常严重的问题,它会导致模型的评估结果过于乐观,进而使得模型在实际应用中表现不佳。 什么是数据泄露数据泄露是指在模型训练过程中,模型不恰当地接触到了与验证集或测试集相关的信息,导致模型的训练过程中“提前知道”了本应该不在训练数据中的信息。
1/22/2025 7:59:59 AM
程序员小寒

十种数据预处理中的数据泄露模式解析:识别与避免策略

在机器学习教学实践中,我们常会遇到这样一个问题:"模型表现非常出色,准确率超过90%!但当将其提交到隐藏数据集进行测试时,效果却大打折扣。 问题出在哪里?"这种情况几乎总是与数据泄露有关。 当测试数据在数据准备阶段无意中泄露(渗透)到训练数据时,就会发生数据泄露。
11/4/2024 2:09:09 PM
Samy Baladram
  • 1