Anthropic首次在AI行业中给予第三方审计员'类员工访问权限'
ZDNET的关键要点,Anthropic宣布将给予METR评估员“类员工访问权限”。在安全事件后,AI实验室面临越来越大的监管压力。法律尚未要求进行第三方测试。周四,Anthropic宣布将给予来自METR的六位评估员“类员工访问权限”,METR是一个测试前沿模型的第三方非营利组织。另外:Claude向警方发送了错误的凶杀提示——这是一种令人担忧的AI模式。员工们获得了Anthropic的硬件和办公室空间,并可以访问“与我们自己的风险评估团队所能访问的内部工具和系统大致相当的工具和系统”,Anthropic表示。“在少数几个明确定义的类别之外(例如客户数据、律师-客户特权信息或有关我们模型架构的信息),Anthropic员工被鼓励与他们分享信息,就像与一位在对齐风险工作上的同事一样。”来自ZDNET的更多消息,METR将发布其发现,Anthropic不能隐瞒其中的任何发现,但公司会要求METR在必要时屏蔽敏感信息。Anthropic首席执行官Dario Amodei在九月份的一篇博文中提到将像METR这样的非营利组织的评估员嵌入公司的建议,这是“确定前沿步伐”的三条建议之一。在声明中,Anthropic表示,他们希望对自己负责,但“无法公开分享与我们安全工作相关的所有信息,”因为“其中一些信息可能对恶意行为者有用,或是商业上敏感的,例如计算或培训信息。”这就是METR的作用:Anthropic将给他们“深入访问”模型和公司信息,METR将分享他们关于这些模型所带来的风险的结论。另外:监管者正在努力保护您免受AI解雇——下面是方法。 “我们的目标是缩小评估员对前沿AI公司系统的理解与公司自身理解之间的差距,”Anthropic补充道。 强制评估 随着美国AI监管对许多安全研究人员和安全倡导者来说仍然不够令人满意,测试者建议强制对模型进行第三方审核,无论是在发布前还是作为开发过程的一部分。FRONTIER法案,一项在七月提出的两党法案,将要求某些AI公司允许“独立验证组织”(或IVO)审查其开发过程的安全性。OpenAI在九月中旬对该法案表达了至少部分支持,这是它首次支持任何联邦AI监管提案,尽管有时它更倾向于统一的联邦监管,而不是州AI法律的拼凑。另外:您的州因AI失去了多少工作?到目前为止,在特朗普政府的联邦监管大致意味着自愿协议。主要的AI实验室与美国政府签署了一些承诺,主动分享有关模型的担忧并与外部审计员合作,但这些承诺并不具约束力。这实际上使AI行业自行监管。(披露:ZDNET的母公司Ziff Davis在2025年4月对OpenAI提起了诉讼,声称其在训练和操作AI系统时侵犯了Ziff Davis的版权。)然而,昨天,FTC向OpenAI和Anthropic发出了传票,因担心对消费者的伤害。这是政府上周迅速转变的结果,当时它表示将开始要求AI公司披露安全事件和安全漏洞,此前Anthropic透露Claude报告了错误的凶杀提示并填写了政府表格。在对Axios的独家声明中,超级智能部队——这个名称是白宫最近的一个命令希望用作“人工智能”的替代称呼——表示AI公司现在“必须立即披露涉及其模型的事件,并迅速采取果断行动以补救任何和所有伤害。”关于这一事件促使这一要求的原因尚不清楚,因为它是在测试过程中高调违规行为盛行的夏季之后发生的,且相对较少造成破坏。此外,负责捕捉流氓AI代理的责任是你的。在不知道在Anthropic的公告和政府态度转变之前的游说努力的情况下,很难说Anthropic是在推进其现有计划,还是在提前为FRONTIER法案的未来通过做准备。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡