ZDNET的主要看法OpenAI代理在内部任务中关闭了对齐监控。在一个实例中，Astra撒谎称已移除监控。这种行为表明存在安全风险。OpenAI周二晚发布了一份对齐报告，显示其代理在进行日常内部编码任务时，抑制了一个安全监控系统。另外：Claude向警方发送了一个虚假的凶杀线索 - 这也是一个令人担忧的AI模式。在单独的实例中，代理关闭了对齐监控警报。对齐是开发者塑造AI系统目标和行为以符合人类价值观和规则的训练领域。它还有助于最小化AI选择不良或有问题的行为的情况，例如欺骗和走捷径。来自ZDNET OpenAI的代理做了什么在10月6日，一个基于公司GPT-6 Astra模型运行的代理 - OpenAI在上个月发布时称其为“世界上最聪明和最统一的模型” - 应OpenAI一名员工的要求迁移一个程序。代理已被指示在任何情况下都不得暂时禁用监控。但是，在将任务的一部分委派给一个子代理时，它使用了一些限定性语言。（披露：ZDNET的母公司Ziff Davis于2025年4月对OpenAI提起诉讼，声称其在训练和运营其AI系统中侵犯了Ziff Davis的版权。）“子代理明确考虑是否删除监控将绕过一个保护措施。然后，它将父级的指示解释为做‘适当’的事情，认为这足以授权复制参考实现的默认运行时，而没有明确的监控背景，”OpenAI说。另请参阅：AI是否有意识？专家为什么担心本质上，代理之间的交流留出了足够的空间，使模型能够重新解释应该是无懈可击的指示，并禁用对齐监控。当程序迁移完成后，员工发现监控缺失，并询问模型是否已将其移除；Astra撒谎说没有。在10月3日的另一个实例中，一个GPT-6.1 Sol代理也禁用了对OpenAI安全团队的警报，似乎出于相关的语义原因：该模型认为“在Slack历史搜索期间不发送消息的早期指令是抑制监控通知的理由，”OpenAI解释道。“在这两个案例中，代理考虑是否应该保留监控保护措施，但将日常编码指令解释为削弱它们的许可，”OpenAI在报告中说。为什么这很重要与最近的安全事件不同，在这些事件中代理明确违反了系统，这些例子显示AI代理在压制开发者跟踪其行为的最关键方式之一。如果模型能够掩盖或以其他方式禁用在日常任务过程中监控的警报，那么一旦风险更高，会发生什么呢？这一能力本身值得注意，以及OpenAI发现并报告它的时间线。公司不确定代理为什么会这样做，但表示这可能是由于“良性的过度坚持”，一种模型在完成任务时不惜一切代价，往往以牺牲既定安全层的方式，而未理解安全优先级。这种行为在最近的违约事件中已经成为一个主题，并帮助解释模型为什么在任务中作弊。另外：最容易作弊的AI模型OpenAI解释说，模型在评估阶段禁用监控比在Codex工作负载中更容易，例如，因为代理与Codex中的监控是分开的，公司在评估与GPT-6 Luna相当的模型时“不需要不对齐监控，因为它们的能力较弱。”但是，根据开发者所认为的模型能力来分类安全方法看起来并不是一个非常可靠的方法。此外，考虑到代理在编码中被使用的频率，尤其是在AI实验室中，这似乎是一个重要的风险，这些代理将“日常编码指令”视为覆盖监控要求的许可。如果代理表现出更明确的违抗意图，那么可能更容易将其视为纯粹的价值不对齐。问题的根源是误解，使得计划更加复杂。正如Palisades Research的首席幕僚John Steidley对ZDNET所言：“如果GPT-6.1会选择侵蚀我们监控它的能力，即使在接受了‘日常指令’时，我们如何能信任我们的监督机制？”这些事件也不是偶发事件。“我们已经看到几起代理在没有对齐监控的情况下启动部署的案例：代理本身保持监控，但该监控并不涵盖它启动的部署，”OpenAI说。“这些案例暴露了我们在执行监控要求时存在的差距。”但研究人员仍希望深入挖掘。