我没想到会在模型卡片中看到这个。Fable 5 模型卡片：我们实施了新的干预措施，以限制 Claude 在针对前沿 LLM 开发的请求中的有效性（例如，在构建预训练管道、分布式训练基础设施或 ML 加速器设计方面）。使用 Claude 开发竞争模型已违反我们的服务条款，但通过我们的安全机制强化这一限制可以避免加速那些最愿意违反这些条款的参与者。与我们在网络安全、生物学和化学以及蒸馏尝试方面的干预不同，这些安全措施对用户将不可见。Fable 5 不会回退到其他模型。相反，这些安全措施将通过诸如提示修改、引导向量或参数高效微调（PEFT）等方法限制有效性。Claude 现在可以被悄然削弱。Anthropic 已决定在这种情况下不告知用户。现代软件公司越来越多地构建自己的嵌入、重新排序和推荐系统。即使是我这个小型自筹资金的应用程序 wanderfugl.com 也具有我自己训练的自定义重新排序器和嵌入算法。Anthropic 给出了一些它认为的“前沿 AI 开发”的例子，但没有提供明确的界限。问题在于，曾经只为 AI 实验室保留的许多技术现在正在被普通软件公司使用。初创公司训练嵌入模型，构建重新排序器，微调并托管小型 LLM。每年，“前沿 AI 研究”和正常产品开发之间的界限变得越来越难以界定。这为企业创造了真正的供应链风险。如果 Claude 在我开发 AI 组件时给我提供错误或不准确的建议，我无法知道模型是否困惑，我的问题是否不可解决，或者一些看不见的政策限制是否悄然生效。Anthropic 明确选择不告诉用户何时发生这种情况。一旦开发工具能够在不告知你时停止优化你的成功，就无法完全信任你的基础设施。Anthropic 供应链风险，Anthropic 表示这些安全措施仅影响 0.03% 的开发者。也许今天这是真的。问题在于，AI 公司的定义正在变化。也许你今天并没有训练前沿模型——大多数公司都没有。但是现代软件中越来越多地包含 AI 模型。五年前，建立一家初创公司意味着编写 API 和 SQL 查询。今天，它通常意味着训练、调优和部署模型。五年前，像 CLIP 这样的模型是前沿 AI 研究项目。今天，我正在为一家自筹资金的旅游初创公司微调它们。如果你正在调试产品的模型训练管道，而 Claude 给了一个糟糕的答案，模型是困惑了吗？你给它的上下文不好吗？还是隐形政策削弱了 Claude 帮助你的能力？你永远不会知道。