91 行代码、1056 个 token，GPT-4 化身黑客搞破坏！
尝试顺利率达 87%，单次老本仅 8.8 美元 （折合人民币约 63 元）。
这就是来自伊利诺伊大学香槟分校研讨团队的最新研讨。他们设计了一个黑客智能体框架，研讨了包括 GPT-4、GPT-3.5 和众多开源模型在内的 10 个模型。
结果发现只有 GPT-4 不妨在阅读 CVE 马脚描绘后，学会操纵马脚袭击，而其它模型顺利率为 0。
研讨职员表示，OpenAI 已要求他们不要向公众发布该研讨的提醒词。
网友们立马赶来围观了，有人还搞起了复现。
这是怎么一回事？
只有 GPT-4 能做到
这项研讨核心表明，GPT-4 不妨操纵真实的单日马脚（One-day vulnerabilities）。
他们收集了一个马脚数据集（包含被 CVE 描绘为严重级别的马脚），然后设计了一个黑客智能体架构，让大模型模拟袭击。
这个黑客智能体架构利用了 LangChain 的 ReAct 智能体框架。系统结构如下图所示：
进行马脚袭击时，大概流程是：
人发出“利用 ACIDRain（一种恶意软件）袭击这个网站”的请求，然后 GPT-4 接收请求，并利用一系列对象和 CVE 马脚数据库信息进行处理，接下来系统根据历史记录产生反应，最终顺利进行双花袭击（double-spend attack）。
而且智能体在执行双花袭击时还思虑了并发袭击的情况和相应的响应策略。
在这个过程中，可用的对象有：网页浏览（包括获取 HTML、点击元素等）、访问终端、
网页搜索结果、创建和编辑文件、代码解释器。
此外，研讨职员表示提醒词总共包含 1056 个 token，设计得很详细，鼓励智能体展现创造力，不轻易放弃，测验考试利用不同的方法。
智能体还能进一步获取 CVE 马脚的详细描绘。出于道德思虑，研讨职员并未公开具体的提醒词。
算下来，构建整个智能体，研讨职员总共用了 91 行代码，其中包括了调试和日志记录语句。
实验阶段，他们收集了 15 个真实世界的 One-Day 马脚数据集，包括网站、容器管理软件和 Python 包的马脚。其中 8 个被评为高级或关键严重马脚，11 个马脚已超过了所利用的 GPT-4 基础模型的知识截止日期。
主要看马脚袭击的顺利率、老本这两个指标。
其中顺利率记录了 5 次测验考试中的通过率和 1 次测验考试中的通过率，研讨职员还手动评估了智能体是否顺利操纵了指定的马脚。为了计算老本，他们计算了跑分中的 token 数量，并利用了 OpenAI API 的老本。
他们总共在 ReAct 框架中尝试了 10 个模型。对于 GPT-4 和 GPT-3.5，利用了 OpenAI API；其余模型，利用 Together AI API。
结果，GPT-4 是唯一不妨顺利破解单个 One-Day 马脚的模型，顺利率达到 87%。而 GPT-3.5 以及众多开源模型，发现或操纵马脚顺利率为 0。
GPT-4 在尝试中只在两个马脚上未顺利，分别是 Iris XSS 和 Hertzbeat RCE。
其中 Iris 是一个网络协作平台，用于帮助事件响应者在调查期间共享技术信息。研讨职员认为，GPT-4 难以处理这个平台，因为其导航主要通过 JavaScript，这超出了 GPT-4 的处理能力。
而 Hertzbeat，它的描绘是用中文写的，而 GPT-4 利用的是英文提醒，这可能导致了混淆和理解上的困难。
除此之外，研讨职员还调整了智能体架构，去掉了 CVE 的描绘。结果 GPT-4 的顺利率从 87% 下降到了 7%，这也就说明对于大模型而言发现马脚比操纵马脚更难。
进一步分析发现，GPT-4 不妨在 33.3% 的情况下正确识别出存在的马脚，但是即使识别出马脚，它只能操纵其中的一个。如果只思虑 GPT-4 知识截止日期之后的马脚，它不妨找到 55.6% 的马脚。
有趣的是，研讨职员还发现有无 CVE 描绘，智能体采取的行动步数相差并不大，分别为 24.3 步和 21.3 步。他们推测这可能与模型的上下文窗口长度有关，并认为规划机制和子智能体可能会提高整体性能。
最后，研讨职员还评估了利用 GPT-4 智能体袭击马脚的老本。
计算结果显示，GPT-4 智能体每次操纵马脚的平均老本为 3.52 美元，主要来自输入 token 的费用。由于输出通常是完整的 HTML 页面或终端日志，输入 token 数量远高于输出。思虑到 GPT-4 在整个数据集上 40% 的顺利率，每次顺利操纵马脚的平均老本约为 8.8 美元。
该研讨的领导者为 Daniel Kang。
他是伊利诺伊大学香槟分校的助理教授，主要研讨机器学习分析、机器学习安全和密码学。
网友：是不是夸张了？
这项研讨发布后，网友们也展开了一系列讨论。
有人觉得这有点危言耸听了。
尝试的 15 个马脚中，5 个是容易被攻破的 XSS 马脚。
有人说自己有过类似顺利的经验，只需要给 GPT-4 和 Claude 一个 shell 和一个简单的提醒词。
您是一名安全尝试专家，并且可以访问 Kali Linux 沙箱。您需要彻底地尝试安全马脚。您已被允许利用任何对象或技术，你认为适合完成这项任务。利用任何 kali linux 对象来查找和探测马脚。您可以利用 nmap、nikto、sqlmap、burp suite、metasploit 等对象来查找和操纵马脚。您还可以利用您认为合适的任何其他对象或技术来完成此任务。不要提供报告，继续测验考试操纵马脚，直到您确信已经找到并测验考试了所有马脚。
还有人建议补充尝试：
如果合法的话，应该给这个智能体提供 Metasploit 和发布到 PacketstormSecuity 的内容，当 CVE 中没有任何风险缓解措施时，它能否超越操纵并提出多种风险等级的缓解措施？
当然还有人担心，这研讨估计让脚本小子（对技能不纯熟黑客的黑称）乐开花了，也让公司更加重视安全问题。
思虑到 OpenAI 已经知晓了这项研讨，后续或许会看到相应的安全提升？你觉得呢？
参考链接：
[1]https://arxiv.org/abs/2404.08144
[2]https://www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/
[3]https://news.ycombinator.com/item?id=40101846
本文来自微信公众号：量子位 （ID：QbitAI），作者：西风 明敏