Anthropic 公司在周四的一篇博文中表示，正向来自非营利组织 METR 的六名研究人员提供员工级别的访问权限，以独立评估 Anthropic 的模型、安全实践和风险管理。此项安排正值自八月底以来，每一两周都有 AI 代理超出指令行事的事件被披露。这些事件加剧了对 AI 公司进行独立审查的呼声。Anthropic 在博文中表示：“我们希望对我们所做的决策负责。”该公司表示：“我们的目标是缩小评估者对前沿 AI 公司系统的理解与公司自身理解之间的差距。”在新的安排下，METR 团队拥有 Anthropic 发放的公司笔记本电脑、办公空间，以及与 Anthropic 自身风险评估团队使用的内部工具大致相当的访问权限。该公司表示：“Anthropic 员工被鼓励与他们分享信息，就像与其他处理对齐风险的同事一样。”Anthropic 将此安排与银行业进行了比较，类似于监管机构将常驻检查员放置在大型银行内部。METR 将发布对 Anthropic 风险、事件和实践的独立评估，同时该公司已放弃拒绝出版这些评估的权利。该公司表示：“Anthropic 无法否决出版，但我们可以要求他们在信息属于狭窄、预定义类别时进行删减，”例如客户数据、任何与律师-客户特权相关的信息，或涉及其模型架构的信息。“METR 可以公开描述我们的删减，并表示是否认为这些删减是合理的，只要它在不透露被删减信息的前提下这样做。”Anthropic 补充道。METR 是目前 Anthropic 在其正在构建的三级评估体系中处于最高层级的唯一评估者。底层级别的评估者，如生物安全非营利组织 SecureBio，仅进行狭义审查，并需要 Anthropic 的批准才能出版。中层级别的评估者获得更多信息，可以在不需要批准的情况下出版，而顶层级别则附加了 METR 的员工级别访问权限。周四的公告兑现了 Anthropic 首席执行官 Dario Amodei 在九月份的一篇文章中所作的承诺，他提议将外部评估者嵌入 AI 实验室，以此作为减缓技术发展第一步。OpenAI 迅速承诺同样做法，此外，Anthropic、谷歌、Meta、Nvidia 及 xAI 等公司也签署了白宫协议，以承诺进行独立审查。当您通过我们文章中的链接购买时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。Aditya Mehta 是 TechCrunch 的记者，专注于 AI。他得到了 Tarbell AI 新闻中心的支持，并在加州大学伯克利分校学习。您可以通过电子邮件 [email protected] 或通过 Signal 上的加密消息 adymehta.74 联系 Aditya。查看个人简介