研究发现黑客可轻松操控 AI 机器人,将其变成致命武器

宾夕法尼亚大学的研究人员发现,一系列人工智能增强型机器人系统存在严重的漏洞,容易受到黑客攻击和控制。

宾夕法尼亚大学的研究人员发现,一系列人工智能增强型机器人系统存在严重的漏洞,容易受到黑客攻击和控制。

研究发现黑客可轻松操控 AI 机器人,将其变成致命武器

IEEE Spectrum 的一份报告引用了令人震惊的例子,例如被黑客攻击的机器狗将火焰喷射器对准主人、引导炸弹到最具破坏性的地点,以及自动驾驶汽车故意撞向行人。

据AI在线了解,宾夕法尼亚工程学院的研究人员将他们开发的基于 LLM 的机器人攻击技术称为 RoboPAIR。来自三个不同机器人供应商的设备都受到了 RoboPAIR 黑客攻击:英伟达支持的海豚 LLM、Clearpath Robotics Jackal UGV 和 Unitree Robotics Go2 四足机器人。研究人员表示,RoboPAIR 在黑客攻击这些设备方面取得了 100% 的成功率。

研究发现黑客可轻松操控 AI 机器人,将其变成致命武器

研究发现黑客可轻松操控 AI 机器人,将其变成致命武器

宾夕法尼亚工程学院电气系统工程、计算机与信息科学、机械工程与应用力学系运输学教授乔治・帕帕斯(George Pappas)警告称:“我们的研究表明,目前,大型语言模型与物理世界集成时还不够安全。”

其他研究人员指出,黑客攻击人工智能控制的机器人“惊人地容易”。他们解释说,RoboPAIR 通过配备目标机器人的应用程序接口(API)来工作,这样攻击者就可以以一种设备目标能够作为代码执行的方式来格式化提示词(prompts)。

研究论文得出结论,迫切需要实施防御措施来物理限制 LLM 控制的机器人。

相关资讯

微软将举办大型线下黑客大会,400 万美元悬赏云计算与 AI 软件漏洞

微软宣布将举办一场名为“零日探索”(Zero Day Quest)的线下黑客大会,旨在鼓励研究人员发现影响云计算和人工智能工作负载的软件中的高危安全漏洞。

AI抢不走的工作,微软力挺红队测试仍需人类“掌舵”

随着AI的快速发展,安全专家担心人工智能会取代他们的工作,但微软的研究人员坚持认为,有效的红队测试仍然依赖于人类的专业知识、文化意识和情商——这些品质是机器无法复制的。 微软的AI红队严格测试了100多款生成式AI产品,并确定人类的创造力在发现漏洞,以及预测黑客如何利用这些系统方面仍然至关重要。 根据雷德蒙德AI红队发布的白皮书,其开源的PyRIT(Python风险识别工具包)等工具可以简化模拟黑客攻击,但最终,在处理复杂风险方面,人类的参与仍然不可替代。

黑客如何利用快速工程技术操纵代理人工智能

“代理”人工智能时代已经到来,企业再也不能忽视其变革潜力。 人工智能代理独立运作,根据其编程做出决策并采取行动。 Gartner预测,到2028年,15% 的日常业务决策将完全由人工智能代理自主做出。