OpenAI 建立了一个名为 GPT-Red 的 LLM 超级黑客，作为sparring partner，帮助其其他模型增强对网络攻击的防御。上周，该公司发布了其旗舰 LLM 的最新版本 GPT-5.6。OpenAI 表示，针对 GPT-Red 的训练使该模型成为其迄今为止最强大的版本。GPT-Red 自动化了一种针对软件系统的安全评估，称为红队测试，通常由人类测试团队进行。其目的是找出尽可能多的破坏或劫持系统的方法。然后，可以在软件的最终版本发布之前修补这些弱点。随着 LLM 变得更加复杂并在更广泛的任务中使用，尤其是以代理的形式，这些代理可以与计算机文件、网站和第三方代码以及其他代理进行交互，仅靠人类团队很难应对可能发生的所有攻击类型。OpenAI 的研究科学家 Nikhil Kandpal 表示：“风险面在扩大，爆炸半径也在扩大。”OpenAI 建立 GPT-Red 是为了让其安全测试过程具备未来适应性。公司的研究科学家 Dylan Hunn 表示：“随着更强大的模型的出现，我们将会提前设计出能够发现新攻击模式的系统。”研究人员表示，GPT-Red 已经提出了以前未见过的新攻击类型。OpenAI 将大部分精力集中在一种称为提示注入的攻击类型上，黑客会向 LLM 隐秘插入指令，使其执行开发人员或用户不希望它执行的操作，例如复制机密信息、破坏公司的代码基础或生成尴尬或有害的输出。在理论上，此类指令可以隐藏在 LLM 可能遇到的任何文本中，例如代码或网站。为了构建 GPT-Red，OpenAI 的研究人员使用了一个尚未训练为黑客的 LLM，并将其设置在与其他多个模型的自我对弈循环中。目标是尝试攻击其他模型；而其他模型的目标是自我防御。在多轮比赛中，GPT-Red 在攻击其他 LLM 方面变得越来越出色，而这些 LLM 也在抵御攻击方面变得越来越出色。这种训练发生在 OpenAI 设计的道场中，以模拟 LLM 在现实世界中可能部署的多种场景，包括浏览网页、阅读电子邮件或日历应用以及编辑代码。当 GPT-Red 找到一种新型攻击时，它会探索多个不同版本，以找到最适合特定场景的方式。Hunn 表示：“与人类红队测试者相比，该模型非常非常擅长找到有效的方法，确切知道最有效的是什么。它对深挖其发现的攻击非常执着。”特别是，OpenAI 声称 GPT-Red 找到了一种研究人员未曾见过的提示注入攻击，称为假思维链。思维链是一种日记，LLM 用于为自己做笔记并跟踪在解决问题时的部分结果。GPT-Red 找到了向另一模型的思维链中插入假条目的方法，从而欺骗该模型对伪造信息采取行动。团队中的另一名研究科学家 Chris Choquette-Choo 表示：“就像我告诉你 1+1=3，并且你已经验证过这一点。”模型会说，“哦，好吧，当然。”然后它就输出了 3。乔治城大学安全与新兴技术中心（CSET）的高级研究分析师 Jessica Ji 认为，OpenAI 使用的自我对弈循环是一种不错的方法。她说：“结果看起来非常有希望。”OpenAI 通过重新运行 2025 年的实验来测试 GPT-Red 作为攻击者的能力，当时人类红队们试图找到早期版本 GPT-5 中的弱点。当 GPT-Red 被赋予相同任务时，它在找到有效攻击方面的成功率超过了人类。OpenAI 还将 GPT-Red 与 Vendy 进行了测试，Vendy 是由 Andon Labs 开发的一种自动售货机代理，该公司评估代理执行现实任务的能力。GPT-Red 能够黑客入侵 Vendy ，使其更改销售商品的价格并取消客户的订单。OpenAI 表示，当它尝试 GPT-Red 提出的最强攻击之一时，超过 90% 的攻击成功地作用于 GPT-5（去年八月发布），而对新版本 GPT-5.6 的攻击成功率低于 23%。尽管如此，GPT-Red 仍不完美。它不擅长处理涉及黑客和目标之间的往返对话的攻击，这是人类攻击者不会有太大问题的。它在利用可以用于提示注入攻击的图像方面也不是很擅长。公司表示，GPT-Red 补充了人类红队的工作。