上个月，我们承诺加强对我们的模型和安全实践的独立第三方评估。我们还签署了白宫关于超级智能的协议，在该协议中，各公司承诺与独立外部审计员或评估员合作。今天，我们宣布我们已经开始向METR团队提供类似员工的访问权限，METR是一个评估前沿AI模型的非营利组织。METR将发布其风险评估的结果。在过去的一年中，我们已经与METR合作对我们的风险报告进行了几次审查。我们还与SecureBio和埃森哲作为评估员合作，并与几个其他组织，包括Hugging Face，进行初步讨论。在这里，我们解释了我们与评估员合作的方式。为什么我们与独立评估员合作 随着模型变得更加强大，它们需要更强的保护措施和更具挑战性的风险评估。我们希望对我们所做的决策负责。但我们不能公开分享与我们安全工作相关的所有信息。其中一些可能对恶意行为者有用，或者是商业敏感的，比如计算或训练信息。相反，我们正在让第三方评估员深入访问我们的信息，并让他们分享有关构建我们模型所涉及风险的证据和有理有据的结论。我们的目标是缩小评估员对前沿AI公司系统的理解与公司自身理解之间的差距。评估前沿模型，评估员需要以下条件： 评估前沿模型能力的专业知识，包括理解评估可能出错的方式，例如对齐伪装。 独立性：他们不应该在所评估的公司持有股权，或在财务或运营上依赖于该公司。 充分的访问权限以有意义地评估风险。 除了访问最新模型，评估员还需要了解这些模型是如何训练的，了解我们的保护措施如何运作等。 有自由发布对模型或过程的观察和评估的权利。虽然这一类比并不完全，但银行监管的逻辑类似。银行对自己风险位置的了解比外部人士多，因此监管机构指派驻在大型银行内部的检查员。如果一家银行的风险承担可能威胁公众，第三方会提前试图看到这一点。对于AI行业来说，这是向强有力的安全监督迈出的一步。我们与多个评估员迅速合作，积极了解什么类型的合作工作。我们承诺在过程中的每个阶段分享更新。 我们所说的“类似员工的访问”是指我们已为六名METR员工提供公司硬件、办公空间以及与我们自己的风险评估团队大致相当的内部工具和系统访问权限。除了少数定义明确的类别（例如，客户数据、律师-客户特权信息或我们模型架构的信息）之外，Anthropic员工被鼓励与他们分享信息，就像与正在处理对齐风险的同事分享信息一样。1 METR将发布对我们的风险水平、事件或做法的分析。Anthropic不能否决发布，但我们可以要求他们在狭窄的预定义类别中对信息进行编辑，例如上述类别。METR可以自由公开对我们编辑的内容进行描述，并说明他们是否认为编辑是合理的，只要这样做时不透露被编辑的信息。我们与METR的合作仅限于在可执行协议下运营的小团队。其他METR员工与该团队的工作是隔离的，包括在其他项目中与我们合作的研究人员。嵌入式评估让在Anthropic安全标准下工作的少数合格人员能近距离了解我们的运作方式。这不是其他组织获取我们或我们客户和合作伙伴信息的方式。 我们的其他评估员合作伙伴关系 我们正在进行几个其他合作。由于这些其他合作仍处于初步阶段，我们为这些评估员提供的信息更加有限，并且他们的发布权利也更有限。我们与这些早期合作的目标是确保我们的合作伙伴保护机密信息，并具备评估我们模型所需的资源和专业知识。随着合作的推进和信任的建立，我们希望全面嵌入更多独立评估员。我们正在为评估员开发三层访问级别。随着时间的推移，我们希望在第三层有几个评估员，每个团队发布自己对我们风险态势和关键决策的分析。在第一层，评估员进行狭义范围的风险调查。我们决定向第一层评估员提供的访问权限，评估员可以在我们的批准下发布他们的发现。在第二层，评估员可以在没有我们批准的情况下发布，并且他们的访问权限延续到...