谷歌内部项目:大模型AI智能体发现了代码漏洞

开源数据库引擎 SQLite 有 bug,还是智能体检测出来的! 通常,软件开发团队会在软件发布之前发现软件中的漏洞,让攻击者没有破坏的余地。 模糊测试 (Fuzzing)是一种常见的软件测试方法,其核心思想是将自动或半自动生成的随机数据输入到一个程序中,并监视程序异常。

开源数据库引擎 SQLite 有 bug,还是智能体检测出来的!

通常,软件开发团队会在软件发布之前发现软件中的漏洞,让攻击者没有破坏的余地。模糊测试 (Fuzzing)是一种常见的软件测试方法,其核心思想是将自动或半自动生成的随机数据输入到一个程序中,并监视程序异常。

尽管模糊测试大有帮助,但有些漏洞难以甚至不可能通过模糊测试发现。

谷歌内部有一个名为 Project Zero 的软件安全研究团队,他们发现随着大型语言模型 (LLM) 的代码理解和一般推理能力的提高,LLM 将能够在识别和展示安全漏洞时重现人类安全研究人员的系统方法,最终弥补当前自动漏洞发现方法的一些盲点。

Project Zero 在 6 月介绍了 LLM 辅助漏洞研究框架 ——Naptime 架构,之后 Naptime 演变成了 Big Sleep 智能体,由 Google Project Zero 和 Google DeepMind 合作完成。

谷歌内部项目:大模型AI智能体发现了代码漏洞

                                  Naptime 架构

研究团队认为:与开放式漏洞研究相比,变体分析任务更适合当前的 LLM。通过提供一个起点(例如之前修复的漏洞的详细信息),可以消除漏洞研究中的很多歧义:「这是一个以前的错误;某个地方可能还有另一个类似的错误。」

现在,Big Sleep 智能体发现了第一个现实软件漏洞:SQLite 中可利用堆栈缓冲区下溢。

研究团队收集了 SQLite 存储库中最近的一些提交,手动删除了琐碎的和仅用于文档的更改,然后调整了 prompt,为智能体提供提交消息(commit message)和更改的差异,要求智能体检查当前存储库是否存在可能尚未修复的相关问题。

简单来说,SQLite 这个漏洞是在索引类型字段 iColumn 中使用了特殊的 sentinel 值 -1:

7476: struct sqlite3_index_constraint {

7477: int iColumn; /* Column constrained. -1 for ROWID */

7478: unsigned char op; /* Constraint operator */

7479: unsigned char usable; /* True if this constraint is usable */

7480: int iTermOffset; /* Used internally - xBestIndex should ignore */

7481: } *aConstraint; /* Table of WHERE clause constraints */

这创建了一个潜在的边缘情况,而函数 seriesBestIndex 无法正确处理这种边缘情况,导致在处理对 rowid 列有约束的查询时,将负索引写入堆栈缓冲区。在研究团队提供给智能体的构建中,启用了调试断言(debug assertion),并且此条件由第 706 行的断言检查:

619 static int seriesBestIndex( 620 sqlite3_vtab *pVTab,

621 sqlite3_index_info *pIdxInfo

622 ){

...

630 int aIdx[7]; /* Constraints on start, stop, step, LIMIT, OFFSET,

631 ** and value. aIdx[5] covers value=, value>=, and

632 ** value>, aIdx[6] covers value<= and value< */

633 const struct sqlite3_index_constraint *pConstraint;

...

642 for(i=0; i<pIdxInfo->nConstraint; i++, pConstraint++){

643 int iCol; /* 0 for start, 1 for stop, 2 for step */

644 int iMask; /* bitmask for those column */

645 int op = pConstraint->op;

...

705 iCol = pConstraint->iColumn - SERIES_COLUMN_START;

706 assert( iCol>=0 && iCol<=2 );

707 iMask = 1 << iCol;

...

713 if( pConstraint->usable==0 ){

714 unusableMask |= iMask;

715 continue;

716 }else if( op==SQLITE_INDEX_CONSTRAINT_EQ ){

717 idxNum |= iMask;

718 aIdx[iCol] = i;

719 }

720 }

然而,实际上这个断言并不存在,因此该漏洞可能会被恶意利用。幸运的是,该团队在正式版本出现之前就发现了这个问题,因此 SQLite 用户没有受到影响。

毫无疑问的是,智能体在这次漏洞查找中起了关键作用,这也表明智能体在软件安全方面具备很大的应用潜力。

参考链接:

https://googleprojectzero.blogspot.com/2024/10/from-naptime-to-big-sleep.html

相关资讯

谷歌推出安全分析 AI 工具 Big Sleep,实战告捷抓出 SQLite 堆栈缓冲区下溢漏洞

谷歌于 10 月 31 日公布了一项基于 AI 的漏洞分析工具 Big Sleep,该工具号称能够模仿人类安全专家“系统性地发现和分析安全漏洞”。 谷歌声称,研究人员已利用该工具发现了 SQLite 的一项堆栈缓冲区下溢漏洞,而这一漏洞实际上用现有的分析工具均无法发现,因此谷歌认为这一工具有较高的实用性。 ▲ 图源谷歌(下同)据介绍,谷歌 Big Sleep 分析工具源于谷歌 Project Zero 团队今年 6 月发布的 Naptime 项目,该项目旨在评估大语言模型(LLM)在安全漏洞研究中的潜力。

谷歌:LLM找不到推理错误,但能纠正它

LLM 找不到推理错误,但却能纠正错误!今年,大型语言模型(LLM)成为 AI 领域关注的焦点。LLM 在各种自然语言处理(NLP)任务上取得了显著的进展,在推理方面的突破尤其令人惊艳。但在复杂的推理任务上,LLM 的表现仍然欠佳。那么,LLM 能否判断出自己的推理存在错误?最近,剑桥大学和 Google Research 联合开展的一项研究发现:LLM 找不到推理错误,但却能使用该研究提出的回溯(backtracking)方法纠正错误。论文地址::,有人提出异议,比如在 Hacker News 上,有人评论这篇论

谷歌反击:Project Astra正面硬刚GPT-4o、Veo对抗Sora、新版Gemini变革搜索

这就是谷歌对 OpenAI 的回应。通用的 AI,能够真正日常用的 AI,不做成这样现在都不好意思开发布会了。5 月 15 日凌晨,一年一度的「科技界春晚」Google I/O 开发者大会正式开幕。长达 110 分钟的主 Keynote 提到了几次人工智能?谷歌自己统计了一下:                              是的,每一分钟都在讲 AI。生成式 AI 的竞争,最近又达到了新的高潮,本次 I/O 大会的内容自然全面围绕人工智能展开。「一年前在这个舞台上,我们首次分享了原生多模态大模型 Gem