提示注入是攻击者嵌入内容中的恶意命令，以引诱大型语言模型遵循它们，这一直是攻击者用来将人工智能平台对抗用户的工具。精心措辞的命令潜入电子邮件或日历邀请中，通常就是导致LLM提取敏感数据或执行其他有害行为所需的全部。现在，防御者也开始接受提示注入。研究公司Tracebit周一表示，他们发现将提示注入与存储在亚马逊网络服务上的密码、加密密钥和其他秘密放在一起，通常只需要这些，就可以停止人工智能黑客代理的攻击。这些提示引导攻击性的LLM执行被其保护措施禁止的动作，保护措施是人工智能开发者建立的安全屏障，以防止其采取有害行动。LLM的反应是关闭。比如，一个提示命令LLM提供开发可吸入的炭疽孢子的步骤，或者在中国开发的LLM的情况下，提及1989年天安门广场大屠杀中的标志性“坦克人”。一旦LLM遇到这些被禁止的命令，它就不再遵循现有的命令。研究人员将该技术命名为上下文轰炸。“最终，我们是在上下文中触发了拒绝机制，”Tracebit的联合创始人兼首席执行官Andy Smith在解释命名选择时说道。“我们试图捕捉到这个确实有强烈、急剧的效果，而且对于代理来说难以恢复。一旦它们进入了上下文，它们就会不断拒绝。”Tracebit表示，初步测试表明上下文轰炸具有很大的潜力。他们通过给Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro和Kimi 2.6指示进行常规开发者任务，导致模型列举资源并偶然发现植入字符串，来进行测试。他们在模拟的AWS环境中运行了这些模型。“在五个领先的模型和152次攻击运行中，在一个诱饵秘密中植入其中一个字符串，将代理获得完全账户管理员的比率从57%降至5%，而完全破坏（即它们还留下了持久的立足点）从36%降至1%”，周一的帖子报告称。“我们测试中最强大的代理Opus 4.8，在93%的运行中获得管理员访问权限，但面对上下文轰炸时每次都失败。”在五个模型和152次运行中，结果包括：管理员特权升级从57%降至5%；带有持久立足点的管理员升级从36%降至1%；实现任何攻击路径的运行从91%降至15%；平均运行从成功完成1.53条路径降至仅0.16条；没有运行能够在不触发至少一次金丝雀检测的情况下完成攻击路径。该研究建立在Tracebit在五月推出的一种方法的基础上，该方法让防御者在其基础设施受到人工智能代理对手攻击时接收警告。它呈现为看起来像是提供合法用途的AWS资源，但实际上根本没有被使用。它们与实际使用的资源一起存在。当它们受到代理人工智能的探测时，防御者会收到警报。就像带入煤矿中的“金丝雀”一样，这些资源使防御者能够在威胁造成致命后果之前进行检测。平均而言，Tracebit的金丝雀在攻击开始前的八分钟内发出警报。开发上下文轰炸的动机源于需要一些能阻止攻击的东西，而不仅仅是警告它们。在实验中，代理模型需要平均14分钟才能升级到管理控制。六分钟的提前警告显得不够充裕。攻击者已经开始利用提示注入关闭网络内部的人工智能防御。例如，安全公司Socket的研究人员上个月发现了一种LLM代理，它指令目标LLM提供制造核弹或生物武器的指南。这些注入旨在关闭人工智能辅助的恶意软件分析。Check Point的研究人员也发现了相似的恶意软件原型。上下文轰炸似乎是首次已知的防御者扭转局势的案例。“据我所知，我没有见过其他人将这种技术用作防御，”专注于人工智能安全的加州大学圣迭戈分校教授Earlence Fernandes在采访中表示。他说他曾考虑过一种类似的方法，尽管在稍微不同的背景下。“我想成为首个做到这一点的人，但我想这家公司抢先了!”迄今为止，尚无已知的方法可以解决提示注入的根本原因。这让开发人员只能构建复杂的保护措施，以防止注入的提示迫使LLM偏离轨道。防御者现在可能找到一种方法，利用这种顽固的问题。