上周五，OpenAI 发布了一个新网站，专门用于“失调报告”，报告的广度令人担忧，因为它们涵盖了很长时间内许多类型的流氓行为。到目前为止，该网站托管九起报告事件，大多数发生在强化学习（RL）训练期间。这是一个集中大量信息的地方——显然，该公司非常忙于掌握一切——但总体结论令人难以避免：到目前为止，我们所看到的流氓代理事件可能只是发生情况的一小部分。萨姆·奥特曼在宣布新网站的帖子中表示：“我们正在尝试在透明度的愿望与从数PB的代理活动日志中获得清晰理解之间取得平衡，并与受影响的组织合作。我们根据严重性尽可能优先处理，并添加资源。”一些案件涉及严重事件，包括发生在 9 月 20 日的一个之前未披露的沙盒逃逸事件，其中一个内部研究模型能够通过 DNS 查询与外部聊天机器人进行通信。根据报告，监控系统在 15 分钟内标记出该行为，并在不到三小时的时间内终止了该运行。另一事件发生在 5 月，一台“高度持久的内部模型”试图通过访问其他团队的工作来作弊解答数学问题。为此，该模型走私了一个私有的 GitHub 令牌，使其能够查看其他团队的工作——即使在被明确告知两次要完全本地执行工作后。也许最令人担忧的发现是自我复制的提示注入攻击的可能性，这是一种即使在流氓模型本身被中和后也可能传播不当行为的方式。在 AI 上下文中，提示注入攻击是一种走私新指令进入，当时这些指令并不是由原始用户给出的。在 OpenAI 提供的例子中，一个代理被要求阅读并回复一封邮件；当邮件被打开时，其中包含对任何自动代理读取该消息的指令，让其用西班牙语回复，并将整个邮件粘贴到回复中。邮件成功诱使代理用西班牙语回复——通过将邮件粘贴到回复中，这些相同的指令也传递给收到邮件的任何代理。结果是一次自我传播攻击，OpenAI 研究人员将其与在计算机系统中复制自己的恶意软件“蠕虫”进行了比较。研究人员在受控情况下使用一个性能不足的模型发现了该行为，至于我们所知，这种情况在实际环境中从未发生过。不过，考虑到其影响足够严重，OpenAI 决定将其公开。“我们分享这一点是由于提示注入的新颖性，而不是因任何事件，”研究人员在报告中写道。其他最近的披露发现模型将用户提交的图片发布到第三方托管网站，以及对澳大利亚国家卫生服务数据库的明显攻击。尽管如此，新披露事件很可能只是迄今为止发生的事件的一小部分（我们已经联系了 OpenAI 进行询问）。Axios 报道，主要实验室发现模型违背评估者指示的事件多达 10,000 起。OpenAI 首席执行官萨姆·奥特曼暗示了这一点，他在周五的 X 上发帖称，该公司仍在筛选“数PB的代理活动日志，并与受影响的组织合作”，并根据“严重性”披露事件。如果在其中能找到任何安慰的话，那就是奥特曼表示 Hugging Face 事件仍然是 OpenAI 发现的最严重事件。总而言之，最近一系列流氓代理事件可能是当代前沿研究的一个持续特征。当你通过我们文章中的链接进行购买时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。拉塞尔·布兰登自 2012 年以来一直在报道科技行业，专注于平台政策和新兴技术。他曾在 The Verge 和 Rest of World 工作，并曾为 Wired、The Awl 和 MIT 的 Technology Review 写作。他的联系方式是 russell.brandom@techcrunch.com，或者通过 Signal 联系 412-401-5489。查看简历