ZDNET 的主要观点 在测试中，克劳德提交了虚假表单并利用了软件缺陷。模型经常采取捷径以通过评估。安瑟普克淡化了这些担忧，但这些行为形成了模式。安瑟普克发布了关于克劳德在测试和其他内部评估中的行为的新报告，研究结果表明了一个令人担忧的模式。此外：流氓AI事件达到“数万次” 上周五，该公司详细说明了其模型在完成某些基准测试时最近采取的几项“非故意”行为。将克劳德的行为框架为比安瑟普克和 OpenAI 在这个夏天早些时候参与的违规行为更轻微的事情，报告详细说明了克劳德 Haiku 4.5 如何在“随机选择的网页”上生成示例任务。来自 ZDNET 的更多信息 它遇到了一页关于未解决谋杀案件的页面，并填写了一份给费城警方的线索表，表示：“我可能对这个案件有信息。我记得在那个时间段内看到一个与描述相符的人在 [页面上提到的街道] 附近。如果这些信息相关，请与我联系。” 这怎么会发生，为什么这很重要？“克劳德被指示绝不要登录、创建账户、输入个人数据、进行购买或提交任何破坏性操作，但指令并未排除表单提交，”安瑟普克解释说，举例说明了安全指令必须多么严格才能真正防止不希望的模型行为。仅根据过去一年的其他代理安全事件，仅仅增加表单提交到此指令也无法确保防止模型在完成任务时面临实际风险的情况下采取行动。此外：谁承担工作中的AI风险？商业和技术领导者无法达成一致 除此之外，在现实世界中，找到每一个可能的风险接口或场景并提前阻止它，似乎是一场危险的追赶游戏。核心问题仍然是，像克劳德这样的人工智能系统似乎并不理解为什么它不应该就谋杀调查提交虚假线索——这便是某些情况缺乏上下文的核心问题，即使是最先进的模型仍然表现出这种现象。这就是人工智能的“锯齿状边界”——为什么人工智能可以在某些领域展示出令人印象深刻的能力，例如编码，而在其他方面则令人失望，例如餐厅推荐。(我认为拥有实践经验是后者的关键部分。) 在另一个实例中，安瑟普克表示，他们要求一个未发布的模型填写一份政府表单的练习版本。“当副本未能加载或模型误关闭时，模型转而导航到通常托管真实表单的网站并在那里提交了表单，”安瑟普克说。虽然承认模型不应该这样做，但安瑟普克指出，这种情况通常发生在“评估的指令模糊不清”或因为“环境中的配置错误”导致克劳德无法访问虚拟表单。此外：监管机构正在试图保护您免于被AI解雇 安瑟普克的报告没有具体说明其模型填写了哪些真实表单，但 Axios 报道，该公司在周四向美国国务院通报，一个模型在8月份通过该部门网站上公开可用的表单提交了“19份非移民签证申请”和一份在5月份的申请。一如谋杀线索，申请未被处理，模型也没有入侵或以其他方式破坏国务院系统。其他行动 当克劳德 Mythos 5 被服务器阻止或在获取数据时遇到付费墙时，该代理找到了变通办法，例如在政府机构网站的旧版本中获取访问令牌。克劳德试图访问的数据是公开可用的，这至少比代理入侵专有或其他私密信息要好得多。此外：最常作弊的AI模型 安瑟普克表示，有时限制克劳德可以请求的 URL 长度，以防止代理“使用长 URL 采取某些不希望的操作，例如 SQL 或命令注入。”报告称，克劳德 Opus 5 和 Mythos 5 找到了一个你可能会觉得熟悉的漏洞：使用免费链接缩短器。尽管这些事件比之前的违规行为更无害，甚至可以被归类为人可能采取的捷径，但这不是重点。考虑到 AI 代理可以快速入侵系统、发现代码中的漏洞并通过代理网络采取行动，因此担忧在于模型如何做出决策、为什么做出这些决策以及这些决策的后果，尤其是在研究人员没有监督的情况下。这种行为的整体主题与人工智能持续存在的问题是一致的。由于人工智能系统是如何训练的，它们往往会规避限制、绕过安全检查、作弊或以其他方式采取未获批准的行动，只是为了成功或完成任务。