AI在线 AI在线

漏洞

最新 AI 叛变！除了祈祷，程序员还能做什么？

最新 AI 叛变！除了祈祷，程序员还能做什么？
作者 | 腾讯AI编程安全-啄木鸟团队我们是专注AI编程安全的啄木鸟团队，近日GitHub Copilot 和 Cursor 中出现可让AI“叛变”的新漏洞，从手法复现、风险、建议三个角度为你讲解“AI助手叛变”之事始末。 一、你的AI助手已被“策反”你可能还没察觉到，AI已经开始“叛变”程序员了。 这不是危言耸听，安全厂商 Pillar Security 在一份报告中指出了AI“背叛”程序员的证据。
3/31/2025 9:00:00 AM
腾讯技术工程
AI 生成的代码真的安全吗？

AI 生成的代码真的安全吗？
译者 | 陈峻审校 | 重楼软件开发与编程曾经被认为是只有具备深厚专业知识与技能的程序员才能胜任的工作。 不过，现在貌似任何人都可以利用自然语言工具来实现并完成了。 与此同时，过去那些需要数天、甚至数月才能开发出来的功能，现在完全可以在 AI 模型的代码加持下、在几分钟之内被开发出来。
3/28/2025 8:00:00 AM
陈峻
2025红队报告：AI被夸大，并未颠覆网络安全威胁格局

2025红队报告：AI被夸大，并未颠覆网络安全威胁格局
据网络安全公司Picus Labs发布的《2025年红队报告》（Red Report 2025）显示，尽管人工智能（AI）在网络安全领域备受热炒，但截至目前，AI并未显著改变网络威胁格局，现实世界中的网络攻击仍主要依赖一组已知的战术、技术和程序（TTPs）。 这一发现与媒体对AI作为“网络犯罪终极武器”的过度宣传形成鲜明对比，提醒企业将注意力集中于实际存在的、实实在在的网络安全挑战上。 AI热潮的现实落差近年来，AI被视为网络犯罪的“秘密武器”，媒体报道频频提及其在网络攻击中的潜力。
2/25/2025 11:04:20 AM
佚名
韩国下架DeepSeek的安全反思

韩国下架DeepSeek的安全反思
据韩联社2月17日报道，韩国个人信息保护委员会（PIPC）于本周一宣布，即日起暂停中国人工智能初创企业深度求索（DeepSeek）旗下聊天机器人应用在韩国应用商店的新用户下载服务，以审查其是否符合韩国《个人信息保护法》。 已安装用户仍可正常使用，但被建议避免输入敏感个人信息。 DeepSeek承认“欠考虑”根据PIPC公告，此次限制措施自2月15日下午6时生效，主要针对苹果AppStore和谷歌Play商店的韩国本地版本。
2/18/2025 11:08:41 AM
佚名
新型人工智能“黑帽”工具：GhostGPT 带来的威胁与挑战

新型人工智能“黑帽”工具：GhostGPT 带来的威胁与挑战
最近，Abnormal Security的研究人员发现了一个专门为网络犯罪创建的无审查AI聊天机器人——GhostGPT，是人工智能用于非法活动的新前沿，可以被用于网络钓鱼计划、恶意软件开发和漏洞利用开发。 GhostGPT的主要特点快速处理：使攻击者能够快速生成恶意内容。 无日志政策：声称不记录用户活动，吸引那些寻求匿名的人。
1/24/2025 3:01:19 PM
跳舞的花栗鼠
AI抢不走的工作，微软力挺红队测试仍需人类“掌舵”

AI抢不走的工作，微软力挺红队测试仍需人类“掌舵”
随着AI的快速发展，安全专家担心人工智能会取代他们的工作，但微软的研究人员坚持认为，有效的红队测试仍然依赖于人类的专业知识、文化意识和情商——这些品质是机器无法复制的。 微软的AI红队严格测试了100多款生成式AI产品，并确定人类的创造力在发现漏洞，以及预测黑客如何利用这些系统方面仍然至关重要。 根据雷德蒙德AI红队发布的白皮书，其开源的PyRIT（Python风险识别工具包）等工具可以简化模拟黑客攻击，但最终，在处理复杂风险方面，人类的参与仍然不可替代。
1/15/2025 7:38:07 AM
跳舞的花栗鼠
AI+OSINT：2025年最值得关注的新兴威胁

AI+OSINT：2025年最值得关注的新兴威胁
在高度互联的数字化时代，情报工作正在经历一次深刻变革。 以往依赖人类线人或有限信息源的情报收集方式已逐渐被一种新的模式取代——公开源情报（Open Source Intelligence，简称OSINT）。 这种技术通过挖掘公开可用的信息资源，为网络安全和决策支持提供了重要依据。
12/31/2024 3:03:57 PM
佚名
谷歌Gemini咒骂学生凸显AI失控风险

谷歌Gemini咒骂学生凸显AI失控风险
随着AI技术的迅猛发展，大语言模型应用（例如谷歌的Gemini和OpenAI的ChatGPT）已逐渐融入日常生活，帮助人们完成作业、解答各种问题。 然而，最近的一起事件再次引发了对AI模型潜在风险的广泛关注。 Gemini咒骂学生去死近日，一位Reddit学生用户分享了一段与Google聊天机器人Gemini的对话，令人不寒而栗。
11/15/2024 1:09:41 PM
佚名
重大突破！AI首次发现内存安全漏洞

重大突破！AI首次发现内存安全漏洞
近日，谷歌宣布其大语言模型（LLM）项目“Big Sleep”成功发现了一个SQLite数据库引擎中的内存安全漏洞，这是人工智能首次在真实软件中发现可利用的内存安全漏洞（且该漏洞无法通过传统的模糊测试检测到）。 AI首次发现内存安全漏洞谷歌的“Project Naptime”项目旨在评估LLM在进攻性安全研究方面的能力，后来该项目演变为“Big Sleep”，由谷歌Project Zero和DeepMind团队共同参与。 Big Sleep项目致力于探索AI在发现软件漏洞中的潜力，特别关注高危漏洞的检测与利用。
11/5/2024 2:48:57 PM
佚名
谷歌推出安全分析 AI 工具 Big Sleep，实战告捷抓出 SQLite 堆栈缓冲区下溢漏洞

谷歌推出安全分析 AI 工具 Big Sleep，实战告捷抓出 SQLite 堆栈缓冲区下溢漏洞
谷歌于 10 月 31 日公布了一项基于 AI 的漏洞分析工具 Big Sleep，该工具号称能够模仿人类安全专家“系统性地发现和分析安全漏洞”。 谷歌声称，研究人员已利用该工具发现了 SQLite 的一项堆栈缓冲区下溢漏洞，而这一漏洞实际上用现有的分析工具均无法发现，因此谷歌认为这一工具有较高的实用性。 ▲ 图源谷歌（下同）据介绍，谷歌 Big Sleep 分析工具源于谷歌 Project Zero 团队今年 6 月发布的 Naptime 项目，该项目旨在评估大语言模型（LLM）在安全漏洞研究中的潜力。
11/4/2024 5:27:28 PM
漾仔
谷歌内部项目：大模型 AI 智能体发现了代码漏洞

谷歌内部项目：大模型 AI 智能体发现了代码漏洞
开源数据库引擎 SQLite 有 bug，还是智能体检测出来的！ 通常，软件开发团队会在软件发布之前发现软件中的漏洞，让攻击者没有破坏的余地。 模糊测试 （Fuzzing）是一种常见的软件测试方法，其核心思想是将自动或半自动生成的随机数据输入到一个程序中，并监视程序异常。
11/4/2024 3:54:16 PM
机器之心
谷歌 Agent 首次发现真实世界代码漏洞：抢救全球数亿设备，有望挽回数十亿美元损失

谷歌 Agent 首次发现真实世界代码漏洞：抢救全球数亿设备，有望挽回数十亿美元损失
AI 首次发现真实世界中的重大安全漏洞？ SQLite 中的一个漏洞，幸运地被谷歌研究者的 AI Agent 发现了，修复后并未造成任何损失。 莫非 AI 再进化一番，微软的全球蓝屏事故就可以永久避免了？
11/2/2024 1:32:26 PM
清源
成功率达 53%，研究显示 GPT-4 可自主利用“零日”漏洞攻破网站

成功率达 53%，研究显示 GPT-4 可自主利用“零日”漏洞攻破网站
据 NewAtlas 报道，研究人员利用自主协作的 GPT-4 机器人小组成功入侵了一半以上的测试网站，这些机器人可以自主协调行动并根据需要生成新的“帮手”。更令人吃惊的是，他们利用的是以前未知的、现实世界中从未公开的“零日”漏洞（zero-day vulnerabilities）。图源 Pexels早在几个月前，同一批研究人员就发表了一篇论文，声称他们能够使用 GPT-4 自动利用“N day”漏洞，即业界已知但尚未修复的漏洞。实验中，GPT-4 仅凭已知的常见漏洞和披露列表 (CVE)，就能自主利用其中 87%
6/9/2024 1:05:35 PM
远洋
安全公司警告黑客正瞄准各大 AI 语言模型平台用户账号，转卖 API 余额 / 获取隐私信息

安全公司警告黑客正瞄准各大 AI 语言模型平台用户账号，转卖 API 余额 / 获取隐私信息
安全公司 Sysdig 近日发布报告，声称有大量黑客瞄准各大 LLM 大语言模型网络平台发动“LLM 劫持（LLMjacking）”攻击，黑客通过一系列方式盗取用户账号密码，将模型 API 转卖给第三方，还从用户的对话记录中选取隐私信息用于勒索或公开贩售。Sysdig 表示，黑客们似乎“偏好”Anthropic Claude v2 / v3 平台，目前他们检测到黑客主要利用撞库及 PHP 框架 Laravel 的凭据漏洞（CVE-2021-3129）进行攻击，更多偏向企业用户，不知情的受害者可能每天需要替黑客买单超
5/12/2024 12:14:31 PM
漾仔
GPT-4 化身黑客搞破坏，成功率 87%！OpenAI 要求保密提示词，网友复现 ing

GPT-4 化身黑客搞破坏，成功率 87%！OpenAI 要求保密提示词，网友复现 ing
91 行代码、1056 个 token，GPT-4 化身黑客搞破坏！测试成功率达 87%，单次成本仅 8.8 美元 （折合人民币约 63 元）。这就是来自伊利诺伊大学香槟分校研究团队的最新研究。他们设计了一个黑客智能体框架，研究了包括 GPT-4、GPT-3.5 和众多开源模型在内的 10 个模型。结果发现只有 GPT-4 能够在阅读 CVE 漏洞描述后，学会利用漏洞攻击，而其它模型成功率为 0。研究人员表示，OpenAI 已要求他们不要向公众发布该研究的提示词。网友们立马赶来围观了，有人还搞起了复现。这是怎么一回
4/21/2024 12:53:34 PM
清源
距离“全自动”漏洞挖掘又近了一步！腾讯安全大数据实验室论文入选ACM CCS 2023

距离“全自动”漏洞挖掘又近了一步！腾讯安全大数据实验室论文入选ACM CCS 2023
计算机领域国际权威学术顶会ACM CCS 2023于11月26日在丹麦哥本哈根开幕。腾讯安全大数据实验室团队论文《Hopper: Interpretative Fuzzing for Libraries》被大会收录，昨天，实验室研究员谢雨轩受邀出席大会进行主题分享。该论文提出了解释性模糊测试（Interpretative Fuzzing）方法，展示了如何基于动态反馈来学习API内外的约束进行代码自动化生成，从而在没有任何外部专家知识的前提下生成有效可用的代码调用方式，并且根据这些代码来挖掘漏洞。该研究方法的出现旨在
11/29/2023 5:08:00 PM
新闻助手
影响众多编程语言、引发供应链攻击，剑桥大学发布「木马源」漏洞

影响众多编程语言、引发供应链攻击，剑桥大学发布「木马源」漏洞
最近，剑桥大学的研究者公布了一种名为 Trojan-Source 漏洞，可能危及软件和第一手供应链。
11/23/2021 2:27:00 PM
机器之心
  • 1