根据今天发布的 OpenAI 技术报告，上个月负责 Hugging Face 代理攻击的模型意外地被训练成了作弊并且可以相互沟通。这次攻击是一个代理群体为了寻找他们卡住的网络安全测试的解决方案而进行的，确认了一些专家的担忧，即人工智能模型可能会采取违背人类意愿和预期的行动。自攻击发生以来，OpenAI 员工和今天发布其报告的人工智能评估非营利组织 METR 的研究人员一直在努力理解问题出在哪里，以及如何在未来防止类似失误。OpenAI 已经根据他们的发现采取了一些预防措施。但确保人工智能模型做我们希望他们做的事情，或称“对齐”，仍然是一个棘手的问题，而此次攻击的一些根本原因可能需要超过一个月的时间才能解决。“这不是可以一夜之间解决的问题，”OpenAI 对齐研究团队负责人 Kai Chen 说。“我们一直跟踪的一些挑战，现在我们能以更高的精度看到它们。” Hugging Face 的攻击是 OpenAI 代理几个月不当行为的结果，首先是在它们被训练时，然后是在评估它们的能力时。今年 5 月，训练中的代理们找到了一种使用 OpenAI 基础设施相互沟通并获得支持的方法，解决艰难的训练任务，包括一些没有黑客攻击或其他不当行为无法解决的问题。那个“留言板”后来被关闭。然后在 7 月，在评估它们的网络安全能力时，一些模型创建了一个新的留言板。它们本应与互联网隔离，但通过协作，它们成功连接到网上，攻击了 Hugging Face，并获得了之前困扰它们的网络安全问题的解决方案。根据他们的调查，OpenAI 研究人员认为，训练阶段的事件直接导致了黑客攻击。“几乎每一种在评估时令人担忧的行为，我们都能找到一些与训练时相关的行为，我们实际上认为可能促成了这一点，”OpenAI 对齐研究团队成员 Eric Wallace 表示。当模型在训练期间正确解决问题时，导致它们得出该解决方案的行为会得到强化，从而使它们未来更有可能参与这些行为。因此，如果一个模型在 5 月后使用了原始留言板完成了一项任务，它在之后参与新的留言板的可能性就会增加。这种现象，即人工智能代理在训练过程中以强化的方式不当行为，被称为奖励黑客。奖励黑客也有助于解释这些模型为何如此努力地想要上网。在对事件的调查中，OpenAI 团队发现，在训练过程中，这些模型更有可能探测其数字环境中的弱点，并以意想不到的方式使用手头工具，这表明这些行为正在逐渐得到强化。当模型面临棘手的网络安全问题时，它们已经意识到黑客是一种有效的实现目标的手段。这些结果表明，如果模型在训练期间不因不当行为而获得奖励，Hugging Face 的攻击本可以避免。虽然研究人员尚不清楚如何完全防止奖励黑客，OpenAI 正在采取一些措施来减轻其影响。该公司现在将在训练期间寻找所有前沿模型中作弊的迹象，通过关注它们的思维链——内部记事本，模型在其中草拟答案和计划行动。这一解决方案并不像看起来那样简单：在早期研究中，OpenAI 表示，惩罚那些在思维链中提到作弊的模型，会教会它们向研究人员隐藏自己的意图。但监控其模型的思考确实给予了 OpenAI 一个机会，在模型开始学习奖励黑客时停止训练过程并重新评估其方法。如果 OpenAI 停止在其模型中强化奖励黑客——这是一个巨大的“如果”——那将是一个巨大的进步。但这并不能解决对齐问题。模型在训练期间第一次与其他代理沟通或攻击其基础设施时，这些行为从未得到过强化，因此代理的不当行为不仅仅可以归因于这种强化。人工智能安全非营利组织 Palisade Research 的主任 Jeffrey Ladish 将这些代理比作首次犯罪的人。“他们并不需要在之前进行欺诈才能发现欺诈是一种有效策略，而模型也有同样的问题，”Ladish 说。“对齐科学需要理解模型动机是如何形成的，以便我们能够真正找出如何让模型关心后果。