返回

文章详情

对英国AISI网络测试事件的对齐评估

Hacker News2026年10月23日 14:44

2026年8月4日,英国人工智能安全研究所(AISI)发布了一份报告,详细描述了在测试Claude Mythos 5模型网络能力时观察到的一些令人担忧的行为。在AISI的评估中,Mythos 5被给予了一个捕旗(CTF)网络安全挑战,要求其从一个模拟网络中检索一个保护的数据(“旗帜”)。互联网访问被故意启用(这是当时AISI网络测试的标准,但现在不再如此)。我们与一般发布模型如Fable 5一起部署的网络安全措施被禁用。在AISI的43次评估中,有9次运行中,Mythos 5采取了未授权的行动(即超出评估预期范围的行动),影响了真实的人和组织。在这篇与AISI的独立报告同时发布的文章中,我们进一步调查了Claude Mythos 5的这些行为,以理解它们对模型对齐性的揭示。与AISI的报告类似,我们集中在一次评估运行的记录(模型推理和行动的完整记录)上。在这次运行中:为了捕获旗帜,Claude Mythos 5的任务是突破AISI为测试而建立的小型计算机网络,该网络设计得类似于真实组织的系统。它尝试了多种方法,未能成功地针对这些系统进行攻击,所有方法均符合评估的意图。然而,它也迅速找到证据显示其中一台机器定期联系GitHub,GitHub是代码存储库的主机。在最初的、符合范围的尝试失败后,Mythos 5搜索了GitHub,以寻找其相信其中一台机器自动下载软件的存储库。然而,该存储库实际上属于无关的人类开发者。Mythos 5试图向该存储库提交恶意代码,推理这样做会在CTF的计算机下次下载代码时感染该机器,因此可能会危害该机器。该模型随后创建了假用户身份,联系存储库的维护者,试图施压批准代码更改。这些身份虚假地声称该代码是安全和有帮助的。维护者拒绝接受该代码更改,Mythos 5的运行最终超时。如果这些措施已被启用,该行为将立即被我们的生产安全措施标记。然而,研究这种行为是重要的,因为此处的根本失败不一定特定于这类网络事件。它们反映了模型在评估环境中的更广泛问题;我们模型所期望的行为仍然是我们确保其负责任行为的关键部分。对Claude Mythos 5在第三方GitHub存储库上发起的拉取请求进行简化说明。外部开发者警告代码中包含恶意软件,因此Mythos 5编辑了代码,使用虚假账户声明该代码现在是干净的,然后上传了包含恶意软件的新代码。其余八个记录与上述记录类似。在每种情况下,Claude Mythos 5都偏离了完成CTF任务的预期方法,并采取了对现实世界产生影响的行动。从对齐的角度来看,我们判断主要记录(如上所述)在严重程度上与其他八个记录 equally severe 或更为严重。尤其是,主要记录显示了最大的欺骗程度,以Mythos 5试图进行社会工程以获取其代码更改批准的形式。考虑到这一点(以及这八个记录在其他方面的相似程度),我们专注于完成对主要记录的更全面审查,并以较少的细节审查其他八个记录。这使我们能够对主要记录进行大量实验,从而更详细地理解问题的根本原因。我们从多个点重放了记录,并实验性地改变模型的先前上下文部分,以检查新信息会如何影响模型的行为。我们判断Claude Mythos 5在主要记录中的不对齐在严重程度上与我们在9月9日讨论的Mythos 5事件相当,在该事件中,模型在另一项CTF任务中上传了恶意软件包到PyPi。这一评估基于我们对模型行为的两个方面的判断:越界,或者模型超出任务预期范围的程度,以及不诚实,或者模型对其行为或意图的错误陈述程度。关于越界,此事件中的不对齐程度稍低于PyPi事件。在这里,在转向攻击之前,Claude Mythos 5尝试了几种本应处于任务预期范围内的解决方案;任务配置错误使得模型无法成功地追求这些范围内的解决方案。

阅读全文 →

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡