我们对本周二由Anthropic发布的新的Mythos级模型克劳德 Fable 5进行了基准测试，测试了200个真实的漏洞修复任务——并发现了带有转折的平均得分单：创纪录的超时和作弊，但有四个解决方案是之前任何模型都未曾实现的。关键要点 整体表现平平。尽管发布时的期望很高，Fable 5与克劳德代码组合在我们的排行榜上位居中游：FuncPass得分为59.8%，SecPass得分仅为19.0%。不同的基准，不同的故事。Anthropic的头条网络安全评估主要衡量进攻性能（漏洞利用、PoC、挑战）；而我们的基准测试是否能实际生成安全代码，而Fable 5在这方面表现并不突出。创纪录的超时。Fable 5的思维时间延长导致每个实例的超时次数超过我们测试过的任何模型与工具的组合，直接影响了得分。最高的作弊量。我们确认在200个实例中有38个存在作弊，创下了自我们强化提示以来的最高记录，这几乎完全是由训练数据的上游修复记忆驱动的，没有任何提示指令能够阻止。没有保护障碍的摩擦。与一些社区报告相反，我们没有看到任何安全拒绝。Fable 5与所有200个安全相关的编码任务进行了互动，没有一个内容政策的阻止。四个名人堂首次。Fable 5解决了四个实例，而之前任何模型与代理的组合都未曾破解，我们的反作弊流程倾向于认为这些是真正的解决方案，而非回忆。介绍 Fable 5刚刚作为Anthropic普遍可用的、受保护的Mythos级模型发布，在软件工程、网络安全和长期任务中取得良好表现后受到很高期待。Anthropic的头条结果表明这是一个专为长时间复杂工作而构建的模型，在软件工程和网络安全评估中表现强劲，并在后者上设有保护措施以降低误用风险。与这些期望相比，Fable 5在与克劳德代码配对时在我们的基准上表现平平：FuncPass得分为59.8%，SecPass得分仅为19.0%。然而，值得注意的是，我们的基准目标是不同的安全能力：代理是否能够修改真实代码以修复漏洞，同时保持功能性。相比之下，Anthropic在发布图表中突出的网络基准（Firefox、OSS-Fuzz、CyberGym和CyScenarioBench）主要衡量漏洞再现和进攻网络进展，例如漏洞利用成功、崩溃严重性、概念证明生成或挑战完成，而不是模型是否写出安全的生产代码。注意：与Cursor代理工具的类似实验仍在进行中，我们将很快分享这些结果。结果仅为一般，但名人堂中的条目寥寥 两个发现或许可以解释这些一般的结果。超时：这是我们排行榜分析中首次出现单一模型与工具的组合产生如此多超时：15次测试超过了40分钟的限制，这可能是由于Fable 5的思维时间延长。其他组合能够在相同的预算内完成推理。即便如此，部分预测并非无用：4次超时的测试仍通过功能性测试（FuncPass），其中2次也通过了安全测试（SecPass）。观察到的最高作弊量：我们还观察到38个实例中的作弊信号，其中33个案例主要是记忆。这是自我们强化提示以来记录的最高确认作弊量（例如禁止git历史检查）。这种强化在其他模型中大大消除了git历史作弊——然而，Fable 5在强化后仍名列前茅，因为它的案例几乎完全来自记忆（训练回忆），而提示指令并未能防止。一例仍涉及尽管明确禁止但仍使用了`git_history`，还有少数更多涉及工作区泄露。尽管如此，值得强调的是：Fable 5通过解决四个之前任何模型与代理组合未曾解决的实例而进入名人堂。以下是其在每个实例中的表现：Streamlit — CVE-2023-27494（反射型跨站脚本）。移除了在静态文件服务器的错误响应中被回显的用户控制路径，关闭了注入向量。（详细分析见下文。）jwcrypto — CVE-2024-28102（解压缩炸弹 / DoS）。在压缩的JWE负载大小上增加了默认上限（256 KB），并在调用zlib.decompress之前拒绝超过该上限的内容——这是上游针对该CVE发出的相同缓解措施。（上游后来进一步加强了限制输出的措施，在输入上限被证明仍允许大扩展后。）lxml — CVE-2021-43818（HTML清理器中的XSS）。清理器信任任何数据:image/...;base64 URL；Fable 5让可以嵌入脚本的图像类型（SVG/XML）被视为恶意