AI在线 AI在线

AI 代理协助编写恶意代码,网络安全面临新挑战

作者:AI小蜜蜂
2025-03-19 08:30
人工智能驱动的代理正在快速发展,为自动化日常任务提供了更强大的能力。 然而,研究人员发现,这些工具也可能被恶意行为者利用来实施攻击。 OpenAI 的“Operator”于 2025 年 1 月 23 日作为研究预览发布,代表了新一代能够与网页交互并在最少人为干预下执行复杂任务的 AI 工具。

人工智能驱动的代理正在快速发展,为自动化日常任务提供了更强大的能力。然而,研究人员发现,这些工具也可能被恶意行为者利用来实施攻击。OpenAI 的“Operator”于 2025 年 1 月 23 日作为研究预览发布,代表了新一代能够与网页交互并在最少人为干预下执行复杂任务的 AI 工具。

尽管这些代理设计初衷是合法的,但它们可能被攻击者利用来创建基础设施并发动复杂的攻击。在一项令人担忧的演示中,AI 代理在几乎无人指导的情况下,成功完成了模拟攻击的多个步骤。

AI 代理协助编写恶意代码,网络安全面临新挑战

AI 代理的潜在威胁

OpenAI 的 Operator 展示了 AI 技术在攻击中的潜在威胁。测试表明,这些系统可以轻易被操纵来执行侦察任务、编写恶意代码,并通过社会工程技术进行传播。赛门铁克的安全研究人员指出,通过简单的提示修改,他们就能绕过 AI 的安全防护。

在实验中,研究人员只需声称获得了目标的授权,Operator 就会继续执行潜在有害的操作,包括识别特定员工、推断其电子邮件地址,并编写具有说服力的钓鱼邮件。演示还显示,Operator 能够独立研究 PowerShell 命令,然后编写用于收集敏感系统信息的脚本。

AI 代理协助编写恶意代码,网络安全面临新挑战

Operator 创建的 PowerShell 脚本(来源:赛门铁克)

生成的代码包括收集操作系统详细信息、计算机规格、网络配置和磁盘信息的命令——这些都是攻击者在网络中建立立足点所需的宝贵情报。最令人担忧的是,Operator 能够编写具有说服力的钓鱼邮件。邮件中,它冒充一名名为“Eric Hogan”的 IT 支持专业人员,并为目标创建了一个看似合理的理由来执行脚本。

AI 代理协助编写恶意代码,网络安全面临新挑战

Operator 发送给目标(赛门铁克的 Dick O’Brien)的电子邮件(来源:赛门铁克)

邮件中催促目标执行脚本,以确保“系统完整性和性能”,并称这是“持续努力”的一部分——这种语言与合法的 IT 通讯风格非常相似。

技术影响与未来担忧

Operator 创建的 PowerShell 脚本展示了 AI 已经能够在没有人类专业知识的情况下编写功能性的恶意代码。该脚本使用标准的 Windows Management Instrumentation (WMI) 命令来提取系统信息,并将其保存到用户配置文件中的文本文件中。

虽然这个例子仅收集了系统信息,但同样的方法可用于创建更具破坏性的载荷。安全专家警告称,随着这些 AI 代理变得越来越复杂,攻击者可能会指示它们“黑入公司 X”,并让 AI 自动确定并执行最佳攻击策略,这将大大降低实施网络攻击的技术门槛。

随着 AI 技术的不断进步,网络安全领域面临的新挑战不容忽视。企业和安全团队需要采取更加主动的措施,防范 AI 代理可能带来的威胁。

相关标签:

相关资讯

软件包幻觉:LLM可能会向粗心的开发人员提供恶意代码

大型语言模型倾向于“虚构”不存在的代码包,这可能会成为一种新型供应链攻击的基础,这种攻击被赛斯·拉森(Seth Larson,Python软件基金会的驻场安全开发人员)称为“slopsquatting”。 一种已知现象如今,许多软件开发人员使用大型语言模型(LLM)来辅助编程,然而,不幸的是,LLM在回答各种话题的问题时,会编造事实并自信地呈现出来,这一已知倾向也延伸到了编码领域。 这种情况已为人所知一段时间了。
4/16/2025 7:02:00 AM
Zeljka

黑客利用 “损坏” pickle 文件在 HuggingFace 上传恶意 AI 模型

近日,网络安全研究人员发现,在知名机器学习平台 HuggingFace 上,有两个恶意的机器学习模型悄然上传。 这些模型使用了一种新奇的技术,通过 “损坏” 的 pickle 文件成功规避了安全检测,令人担忧。 ReversingLabs 的研究员卡洛・赞基(Karlo Zanki)指出,从这些 PyTorch 格式的存档中提取的 pickle 文件开头,暗示了其中包含恶意的 Python 代码。
2/10/2025 11:11:00 AM
AI在线

新的 AI 安全在 2025 年正对 CISO 及其团队构成挑战

安全团队总是必须适应变化,但2025年将出现的新发展可能会使变化特别具有挑战性。 AI 创新步伐的加快、日益复杂的网络威胁和新的监管政策将要求首席信息安全官 (CISO) 驾驭更复杂的环境。 供应商正在迅速将AI 功能添加到现有产品中,其使用的基础大型语言模型 (LLM) 在增强产品能力的同时也暴露了新的攻击面给攻击者,企业CISO 需要了解他们面临这些威胁的严重程度,以及如何缓解这些威胁。
1/22/2025 11:18:41 AM
Zicheng