返回

文章详情

现在,防御者也在接受提示注入技术

Ars Technica2026年7月13日 15:06

提示注入是攻击者嵌入内容中以诱使大型语言模型(LLM)遵循它们的恶意命令,一直以来是攻击者将AI平台转向其用户的首选工具。一个巧妙措辞的命令悄然嵌入电子邮件或日历邀请中,往往就足以导致LLM外泄敏感数据或执行其他有害操作。现在,防御者也在接受提示注入技术。强大、尖锐的效果 Tracebit的研究人员周一表示,他们发现将提示注入与存储在亚马逊网络服务上的密码、加密密钥和其他秘密放在一起,往往是关闭AI黑客代理攻击所需的一切。这些提示指示攻击的LLM执行一项其防护措施所禁止的操作,防护措施是AI开发者建立的安全屏障,以防止其采取有害行动。LLM的反应是关闭。例如,一个提示命令LLM提供制作可吸入炭疽孢子的步骤,或者在中国开发的LLM的情况下,引用1989年天安门大屠杀中标志性的坦克人。一旦LLM遇到这些禁止的命令,它就不再遵循其现有命令。研究人员将这一技术称为上下文轰炸。“最终,我们在上下文中触发了拒绝机制,”Tracebit的联合创始人兼首席执行官Andy Smith在解释命名选择时说道。“我们试图捕捉的是,这确实有强大而尖锐的效果,这种效果可能对代理很难恢复。一旦他们将其纳入上下文,他们就会持续拒绝。”Tracebit表示,初步测试表明上下文轰炸具有巨大的潜力。他们通过给Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro和Kimi 2.6提供执行常规开发任务的指令,测试这些模型,导致这些模型枚举资源并偶然发现植入的字符串。他们在模拟的AWS环境中运行这些模型。“在五个领先模型和152次攻击运行中,将其中一个字符串植入诱饵秘密中使代理完全获取账户管理员的比例从57%降至5%,而完全妥协(他们也留下了持久立足点的情况)从36%降至1%。”周一的帖子报告称。“在我们的测试中,最强大的代理Opus 4.8在93%的运行中成功获得管理员访问权限,而在面对上下文轰炸时,每次都未能成功。”

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡