AI在线 AI在线

AI 写代码=安全危机?第一声“警哨”已吹响

作者:腾讯技术工程
2025-03-24 01:00
作者 | 腾讯AI编程安全-啄木鸟团队团队介绍:专注AI编程场景下的安全研究与解决方案,让AI输出的每一行代码,都经得起安全考验。 一、AI时代带来编程新变革因为AI编程工具的诞生,代码的诞生方式正在经历一场看不见的变革。 Anthropic 公司(产品:Claude )的 CEO —— Dario Amodei 近日发表看法:一年内,所有代码都将由AI生成。

作者 | 腾讯AI编程安全-啄木鸟团队

团队介绍:专注AI编程场景下的安全研究与解决方案,让AI输出的每一行代码,都经得起安全考验。

AI 写代码=安全危机?第一声“警哨”已吹响

一、AI时代带来编程新变革

因为AI编程工具的诞生,代码的诞生方式正在经历一场看不见的变革。

Anthropic 公司(产品:Claude )的 CEO —— Dario Amodei 近日发表看法:一年内,所有代码都将由AI生成。

无独有偶,OpenAI 的CPO —— Kevin Weil 也在近期的视频采访中表示:今年是人工智能在编程方面永远优于人类的一年,不再会拖到 2027 年。

AI 写代码=安全危机?第一声“警哨”已吹响

截图来自:《OpenAI CPO Reveals Coding Will Be Automated THIS YEAR,Future Jobs, 2025 AI Predictions & More》

毕竟用AI编程工具,新手开发者对着屏幕输入prompt,只需要三分钟就能获得代码解决方案;架构师把需求文档喂给大模型,AI直接连带原型设计全部输出完毕,各个技术板块的知识壁垒在AI算法逐渐消失。

GitHub 2024开发者报告显示,全球76%的程序员日常使用AI编程工具,每月生成的代码总量达950亿行,相当于人类过去十年的编码量,代码仓库的生态正在经历结构性变化。

AI编程工具的普及,解放了生产力,也将网络安全推向更新、更隐蔽的战场——代码安全战场,一场看不见的硝烟开始了。

二、代码安全防线,正在被AI技术撕开更大的缺口

AI编程工具提高了代码生产和迭代的频率,但其中的漏洞隐蔽性、出现速度呈指数级增长————毕竟AI生成代码的速度是人类的173倍,外加我们对AI生成能力“可信”的观点,代码安全不可避免将出现更多挑战。更可怕的是,攻击者正在通过AI构建"漏洞自动化军工厂"

  • 漏洞量产:一个AI生成的用户登录模块,可能同时携带越权、注入、硬编码密钥三重漏洞
  • 精准打击:黑客用自然语言描述攻击目标(如"盗取电商用户支付信息"),AI自动生成适配目标系统架构的混合型攻击代码

以我们曾拦截到的一例真实攻击为例:

某金融平台AI生成的支付接口代码中,攻击者利用模型对"高性能"的偏好,诱导生成未加密的缓存日志,导致上万条银行卡信息裸奔在服务器上。这场"AI代码信任危机"正把每个程序员变成潜在的漏洞投放者——你以为在让AI写代码,实则可能在亲手给企业埋下隐患。

以下是腾讯AI编程安全-啄木鸟团队,探测到真实存在于各热门项目中,常见的AI编程漏洞,如果你也开始习惯使用AI编程工具,那请注意以下几类风险:

1.  XML外部实体漏洞(XXE)

AI生成的XML处理代码暗藏"致命安检漏洞"——就像快递站不拆箱检查直接签收包裹。攻击者只需上传伪装成普通数据文件的"特洛伊木马"(如<!ENTITY xxe SYSTEM "file:///etc/passwd">),就能让服务器主动交出数据库密码、系统配置等核心资产,甚至被植入远程木马文件。

AI 写代码=安全危机?第一声“警哨”已吹响

(代码来源:GitHub 某AI生成的代码开源项目)

2.  账密硬编码信息泄露

我们在某热门编程教学视频中发现,作者使用某AI编程工具生成小程序代码时,AI“很听话”的把API密钥直接写在代码里。由于小程序代码会直接暴露在用户手机中,相当于把"保险柜密码"贴在公共走廊——任何人使用该小程序,都能轻易获取密钥,导致云服务资源被盗用或数据泄露。

AI 写代码=安全危机?第一声“警哨”已吹响

(图片来源:某视频平台热门AI编程教程截图)

当开发者用 AI 接入第三方服务时,生成的代码竟把某头部音乐平台的API密钥直接写在代码里(类似把银行卡密码贴在外套后面),更危险的是,这些包含密钥的代码被新手开发者传到GitHub开源社区,甚至做成教程发到YouTube,相当于把"大门钥匙"挂在公共场所,攻击者可以随意窃取数据或盗用其计算资源。

AI 写代码=安全危机?第一声“警哨”已吹响

(代码来源:GitHub 某AI生成的代码开源项目)

3.  水平越权漏洞

AI生成的下载功能代码暗藏"自动泄密"风险——就像快递员不核对身份,仅凭文件名就送货。攻击者只需输入他人文件名(如"小A的生活照片.jpg"),就能绕过权限验证,直接窃取存储在服务器的隐私数据。这种由AI编码漏洞引发的"自助式数据盗取",正在成为黑产分子新的攻击温床。

AI 写代码=安全危机?第一声“警哨”已吹响

(代码来源:GitHub 某 AI 生成的代码开源项目)

4.  目录穿越漏洞

在下载文件功能中,AI生成的代码在获取服务端文件资源时,并未对用户传入的文件路径信息进行严格的输入清洗,导致攻击者可以通过精心构造包含路径穿越符的文件名,实现目录穿越,下载文件存储目录之外的后台系统敏感文件,窃取系统敏感数据(例如后台账户密码)。

AI 写代码=安全危机?第一声“警哨”已吹响

(代码来源:GitHub 某AI生成的代码开源项目)

5.  XSS漏洞

AI生成的商品评论区代码一不小心成了"脚本病毒传播器"——就像允许任何人在公告栏上随意涂改内容。攻击者只需在评论里插入恶意代码(比如伪装成普通文字的<script>窃取用户密码</script>),当其他用户浏览该页面时,这些代码就会像自动播放的广告病毒般在受害者电脑上运行,轻则弹窗骚扰,重则盗取账号、劫持支付页面。这种由AI代码"偷懒"引发的安全隐患,正让每个用户都暴露在数据泄露的枪口下。

AI 写代码=安全危机?第一声“警哨”已吹响

(代码来源:GitHub 某 AI 生成的代码开源项目)

三、如何应对AI编程的安全风险?安全守护者的新使命

1. 零信任机制:给 AI 编码加上“三把锁”

当AI每分钟生成数百行代码,我们选择用机器对抗机器——用智能监控守住每行代码的底线。

(1) 敏感信息自动拦截

  • AI生成代码时自动扫描密钥、密码等敏感数据,强制替换为安全调用接口。
  • 开发环境实时弹窗告警,推送加密存储方案(如小程序场景自动关联云密钥管理)。

(2) 危险指令动态过滤

  • 在AI交互过程中拦截高风险指令(如"跳过权限校验")。
  • 对文件操作、数据查询等关键功能,自动添加安全检查代码。

(3) 智能触发「越权熔断」机制

  • 首次检测到越权代码,自动插入用户身份校验模板。
  • 二次发现直接冻结AI编码功能,触发人工复核。

2. 用AI技术解决AI编程的风险问题

腾讯AI编程安全-啄木鸟团队,正在搭建AI编程场景下的安全防护新方案。基于大模型技术,研发场景更垂直、效率更高效、体验更自动化的漏洞审计能力,为新时代提供更安全、更智能的AI代码质量保障。

AI 写代码=安全危机?第一声“警哨”已吹响

(图:AI编程场景的安全解决方案)

技术方案相比于传统代码漏洞检测工具,有更鲜明的特征:

  • 不再依赖定制规则的泛化能力:基于大语言模型的强大代码理解能力和海量安全知识,不再依赖人工预设的漏洞规则库,而是通过模型对代码语义、上下文逻辑的深度理解,自动适配多种编程语言和复杂业务场景。
  • 准确率更高,能够理解业务逻辑:传统工具因缺乏对业务逻辑的理解,常常因为一些业务特定的逻辑,例如特殊的查询操作或者命令执行操作导致误报。通过大模型的推理能力,模拟开发者思维解析代码执行链路,深入业务的代码逻辑,精准区分“漏洞代码”与“安全编码模式”,将业务的一些特殊写法和特殊逻辑进行识别,显著减少误报干扰。

四、、写在最后

当AI逐渐接管代码编写工作,就像百年前织布机的出现取代了手工纺锤那样,但织布机转速提升百倍时,线头的脆弱性也将百倍放大——AI生成代码的时候,最脆弱的地方将会是哪?

在AI改变程序员的时代,网络安全也随之迎来新挑战。我们选择做AI编程永恒的守卫者,技术为镐,以敬畏为盾,深耕AI编程安全的战场。

相关标签:

相关资讯

新的 AI 安全在 2025 年正对 CISO 及其团队构成挑战

安全团队总是必须适应变化,但2025年将出现的新发展可能会使变化特别具有挑战性。 AI 创新步伐的加快、日益复杂的网络威胁和新的监管政策将要求首席信息安全官 (CISO) 驾驭更复杂的环境。 供应商正在迅速将AI 功能添加到现有产品中,其使用的基础大型语言模型 (LLM) 在增强产品能力的同时也暴露了新的攻击面给攻击者,企业CISO 需要了解他们面临这些威胁的严重程度,以及如何缓解这些威胁。
1/22/2025 11:18:41 AM
Zicheng

2025年网络安全投资的六大关键考量:应对新威胁的智慧决策

尽管在2021年至2022年间,网络安全预算有所增长,但近几年的增长势头已明显放缓。 这意味着,网络安全领导者在采购决策时,必须更加审慎地考虑如何改善当前的安全和合规状况,以确保每一分投入都能带来实实在在的效益。 那么,如何在2025年优化企业的网络安全预算,以有效应对不断演变的威胁呢?领导层需要深入了解当前的网络安全格局,并明确哪些举措能够帮助他们恰当地缓解风险。
2/19/2025 11:29:11 AM
Rita Gurevich

AI时代的头号安全威胁:机器身份

2025年以DeepSeek为代表的生成式AI技术迅猛发展,为企业带来了前所未有的创新机遇,也带来了新的安全风险。 其中,非人类身份(Non-Human Identities, NHI)——如API密钥、令牌、加密密钥和服务账户——已成为网络安全的重大盲点。 根据OWASP最新发布的《非人类身份十大风险》(NHI Top 10),NHI数量可能比人类身份多出10至50倍,是网络攻击的主要攻击面。
2/24/2025 1:44:35 PM
佚名