在采访中，AutoRABIT的CTO Jason Lord探讨了将智能体集成到现实世界中的系统所带来的网络安全风险。诸如幻觉、提示注入和嵌入式偏见等问题可能会使这些系统成为易受攻击的目标。
Lord呼吁进行监督、持续监控和人为介入循环控制以应对这些威胁。
许多智能体都是建立在基础模型或大型语言模型(LLM)之上的。当这些智能体嵌入到现实世界的系统中时，基础模型和LLM固有的不可预测性(如幻觉或提示注入)是如何转化为风险的?
基础模型和LLM从海量数据中学习，这意味着任何潜在的偏见、低质量输入或事实错误都会嵌入到它们的行为中。随着时间的推移，这些不准确之处可能会累积——尤其是当模型遇到更多样化的上下文时。
虽然LLM的固有不可预测性对于创意或对话目的可能是有用的，但在生产环境中它可能会暴露出重大风险。幻觉(捏造或错误陈述)和提示注入(对输入的恶意操纵)可能会引入隐藏的漏洞。
在最坏的情况下，这些问题会成为攻击载体，提供对关键系统或敏感数据的意外访问。即使智能体的响应中存在轻微的不一致，也可能损害数据完整性或打开后门。这会产生从未经授权的披露到系统损坏等实际风险——所有这些都可能严重影响组织的安全态势。
如果智能体能够访问企业系统、工具或数据，它们会引入哪些新的攻击面或供应链风险?我们是否基本上是在创建新的特权身份?
是的，智能体实际上成为了一种新的特权身份类别，可能拥有访问敏感信息和关键业务流程的权限。因为它们可以处理命令、检索或修改数据，并与其他企业系统进行交互，所以智能体的凭据或逻辑一旦遭到单次破坏，其破坏性可能与整个特权用户帐户遭到攻击一样严重。
智能体特别具有挑战性的一点是，与常规脚本或应用程序相比，它们的行为更不可预测且更难审计。它们依赖于可能被操纵的自然语言输入——通过提示注入、对抗性示例或配置错误的访问控制——来执行不需要的或恶意的操作。
组织还应考虑AI驱动的供应链风险。当智能体生成代码或产生被持续集成/持续部署(CI/CD)管道使用的工件时，它们可能会无意中嵌入漏洞或将有缺陷的逻辑传播到下游系统中。这些隐藏风险可能会一直存在，直到通过彻底审计或利用尝试被发现，这强调了严格治理、访问控制和持续监控AI生成输出的必要性。
你是否预见智能体会成为与通过钓鱼或社会工程学攻击人类相同的目标?所谓的“智能体感知”对手会是什么样子?
绝对的。智能体将简单地被添加到目标列表中，但攻击者不会使用操纵人类的战术(如钓鱼邮件)，而是可能会通过制作旨在操纵智能体行为的恶意输入来进行提示注入。这些攻击利用了智能体对看似良性的指令或数据的信任，导致其泄露信息、提升权限或采取有害行为。
“智能体感知”对手将研究特定智能体如何解释语言、做出决策以及与工具进行交互。他们可能会在共享文档、聊天消息或API响应中嵌入隐藏命令。这些攻击看起来不会像传统的漏洞利用——它们会看起来像正常的对话或常规数据流。
随着智能体在企业系统中承担更多责任——处理工单、更新记录或管理基础架构——攻击者将更加关注直接操纵智能体。这使得AI特定的安全控制(如输入验证、行为监控和强大的审计跟踪)对于检测和防止这些攻击至关重要。
当前，你对智能体在网络安全中最兴奋的应用场景是什么?以及你认为哪些应用场景仍然被过度炒作或过早?
AI在过去几年中取得了长足的进步。威胁检测和自动响应是智能体能够为网络安全团队带来切实益处的两种方式。能够分类警报、跨不同工具关联信号并提供丰富上下文的智能体可以极大地提高分析师的效率。通过增强现有的安全运营中心(SOC)工作流程，智能体可帮助员工专注于战略任务，而不是筛选原始数据。
然而，能够在实时生产环境中做出单方面决策的完全自主的智能体仍然存在风险。幻觉或错误行为可能会关闭关键基础设施或创建后门，而人类操作员却未能及时发现错误。监督机制、手动审批和强大的防护栏仍然至关重要。
被过度炒作或过早的应用场景包括无需人类干预的端到端“自我修复”系统。在不断变化的安全环境中，确保问责制和减轻意外后果需要人类审查过程。将智能体与人为介入循环策略相结合，在一段时间内很可能仍将是最佳实践。
展望未来3到5年，一个成熟的智能体赋能的SOC会是什么样子?哪些功能将成为常态，而我们仍将在应对哪些风险?
仅在过去一年我们就看到了如此多的增长，因此我想象在未来3到5年内，智能体将非常令人印象深刻。我预计，智能体赋能的SOC将配备在整个事件生命周期中嵌入的半自主智能体。它们将能够分类警报、生成事件报告并实施补救操作。
跨工具集成(例如，漏洞扫描器、端点检测和响应(EDR)解决方案或威胁情报源)是未来几年将发展的另一种能力。人类分析师将能够更专注于战略分析、微调其智能体的行为，以及处理独特的网络安全情况。
成熟度的提高将伴随着同样成熟的攻击和网络安全风险。保持强大的安全态势不仅需要先进的AI，还需要持续的验证、红队测试和仔细的治理。没有任何工具是万能的——尤其是在不断演变的威胁环境中。
