Anthropic 正在撤回一项可能会秘密限制竞争对手使用其新 AI 模型 Claude Fable 5 开发其他 AI 模型的政策。在这一举动受到 AI 研究界的重大反对后，该公司改变了方向。Anthropic 在给《连线》的声明中表示：“我们正在改变 Fable 5 的边界 LLM 开发的保护措施，使其更加透明。”该公司承认：“我们做出了错误的权衡，对未能找到正确的平衡深感抱歉。”本周早些时候，Anthropic 发布了 Claude Fable 5，这是其最新 AI 模型的一个版本，增加了旨在防止滥用的安全防护措施。Anthropic 决定的一些安全措施并不令人意外：该公司表示，将把询问有关网络安全、生物学或化学问题的用户重定向到功能较弱的 AI 模型，以减少有人利用先进 AI 实施网络攻击或制造生物武器的可能性。然而，对于试图使用 Claude Fable 5 进行前沿 AI 开发的研究人员，Anthropic 概述了一种不同的方法。该公司会故意减弱模型的性能，以至于用户无法察觉。这一举动实际上会破坏研究人员利用 Claude 训练竞争 AI 模型的努力，而这在 Anthropic 的服务条款中明确禁止。请问您有什么消息？您是否是目前或曾经的 Anthropic 员工，想谈谈发生了什么？我们希望听取您的意见。请使用非工作电话或计算机，通过 Signal 以安全方式联系记者 mzeff.88。Anthropic 目前表示，它正在改变方向，Claude Fable 5 的 AI 开发保护措施将对用户可见。如果公司怀疑用户试图利用 Claude 构建高度能力的 AI，它将警告用户拒绝该请求或将其重定向到功能较低的模型。Anthropic 在受到 AI 研究社区强烈反对后逆转了该政策。Anthropic 已经采取措施限制竞争对手利用 Claude 构建封闭和开源 AI 模型，但批评者表示，秘密减弱某些用户模型性能的做法已走得太远。Claude 的编码助手已经成为开发者，尤其是那些从事开源 AI 研究项目的开发者的热门工具，研究人员告诉《连线》，该公司的最新政策可能会导致一个令人不安的未来，只有少数领先的 AI 实验室能够进行先进的 AI 研究。美国创新基金会的高级研究员、前白宫 AI 顾问 Dean Ball 在 X 上发表的一篇帖子中写道：“在没有告知用户的情况下降低机器学习研究的性能是令人震惊的敌意，这是一个糟糕的形象。”他在另一篇帖子中继续说道：“秘密破坏”政策削弱了 Anthropic 的整体立场，因为它限制了 AI 研究人员在 AI 安全性上的合作。开源 AI 初创公司 Prime Intellect 的研究主管 Will Brown 表示：“这感觉像是 Anthropic 在对公众说，‘我们不信任其他人进行 AI 研究。我们是唯一必须进行 AI 研究的人。” Brown 表示，该政策还会让开发者在不知情的情况下可能违反 Anthropic 的规则，因为公司不会在其安全防范措施被触发时警告他们。他补充说，这些限制可能会产生广泛的后果。比如，他提到不断增长的第三方评估公司生态系统，这些公司测试前沿模型的安全性、性能和可靠性，如果 Anthropic 秘密减弱其模型，这些工作可能会受到阻碍。Anthropic 表示，为了应对 Claude 在加速 AI 研究方面变得日益有效，该公司实施了这些措施。在最近的一篇博客文章中，该公司表示，它担心 AI 的能力可能超过社会适应能力的速度。Anthropic 辩称，选择减缓或暂时暂停前沿 AI 开发的选项将有利于社会结构和对齐研究的跟进。“这些安全措施防止外国对手以带来严重安全风险的方式使用我们最强大的模型。美国及其盟国在前沿芯片和全面发挥其潜力的高度优化软件方面占有优势，”该公司在给《连线》的声明中表示。“这些安全措施确保 Claude 不会被用来削弱这个优势，例如通过优化那些对手开发的芯片……在决定将其隐藏还是公开时，我们面临选择。隐藏的安全措施更难被探测和规避。这意味着安全措施可以更加精准地针对。” Anthropic 表示，鉴于AI开发方面的安全措施现在可见，它需要更加广泛地筛选，这意味着更多良性的请求可能会触发其安全措施。该公司表示，它正在尽快提高其分类器的准确性。