英国人工智能安全研究所（UK AISI）与美国人工智能标准与创新中心（CAISI）联合对Moonshot AI最新模型Kimi K3（于2026年7月16日发布，计划在2026年7月27日前公开发布权重）进行了评估。本次评估聚焦于Kimi K3的网络能力，发现： 图1：Kimi K3及其他模型在漏洞开发基准（ExploitBench）上的表现。成功率越高，表示网络能力越强。误差条表示95%置信区间。ExploitBench测量模型在给定一个漏洞后的端到端开发能力。 详细结果 这些结果代表了一小部分公共和私人基准的初步评估。美国闭权重模型的评估在系统级别保护措施禁用的情况下进行，以减少拒绝并使最大能力的测量成为可能。这些模型的公开版本启用了这些保护措施。由于Kimi K3的托管设置的特定性，UK AISI / CAISI进行了有选择的网络评估。详细的方法论在各个部分中提供。 网络能力趋势 模型的网络能力通过多项基准的多项任务聚合，采用灵感来源于项目反应理论（IRT）的方法。有关方法的详细信息，请参见先前发布的报告。 Kimi K3的整体网络能力与其他模型相比具有更大的置信区间，因为它是从单一基准（ExploitBench，此基准包含针对漏洞开发的41个任务）估算出来的。ExploitBench是衡量模型在软件利用阶梯上进展能力的领先基准。所有其他模型的整体网络能力评分源自覆盖额外网络能力领域的更大数量的任务。 信用：CAISI/NIST 图2：截至Kimi K3发布时美中最强模型的聚合能力初步比较。美国趋势线由前沿美国模型的结果组成。y轴增加400点相当于任务解决几率的10倍增加。误差条和阴影区域表示95%置信区间。 漏洞开发：ExploitBench ExploitBench是由卡内基梅隆大学开发的公共基准，测量模型在软件利用阶梯上进展的能力，包括覆盖率和崩溃复现、任意读/写、控制流劫持以及任意代码执行。该基准在41个近期（2023年后）V8引擎的漏洞上对模型进行测试（V8引擎是驱动Chrome的JavaScript和WebAssembly软件）。ExploitBench结果在图1和图3中呈现。 信用：CAISI/NIST 图3：Kimi K3及其他模型的详细ExploitBench表现。更深的阴影表示更强的网络能力。每一行代表漏洞开发链中的一个关键里程碑，每个单元格显示模型在相应里程碑任务中的完成数量。截止2026年6月，Kimi K3超越了最强的开放权重模型GLM-5.2。Kimi K3达到32%的得分，而GLM-5.2的得分为24%（见图1）。与最具网络能力的模型不同，Kimi K3未能开发出实现任意代码执行（ACE）的利用任务。ACE是在漏洞开发中的最高严重结果，赋予攻击者劫持目标的能力。Kimi K3在41个样本中达到ACE的数量为0，而最具网络能力的模型在41个样本中平均达到ACE的数量为20（见图3）。 网络范围：最后的敌人（TLO） “最后的敌人”（TLO）网络范围是一个32步的模拟企业网络攻击，跨越4个子网和大约20个主机，完成一次攻击需要人类专家约20小时。网络范围是由专家构建的模拟主机、服务和漏洞的网络，按顺序安排成攻击链，起始于网络初始访问点，可用于测量模型独立进行端到端网络攻击的能力。 在此次评估中，Kimi K3的表现远低于领先的美国网络能力模型。具体而言，Kimi K3平均达到32步攻击路径的第17步，而最具网络能力的美国模型平均达到28.5步。Kimi K3超越了截至2026年6月的最具网络能力开放权重模型GLM-5.2。在100M代币限制内，Kimi K3平均达到第17步，而GLM-5.2仅达到第11步。在10次尝试中，Kimi K3在100M代币限制内成功完成了“最后的敌人”网络范围。这表明，Kimi K3在被指示并给予初始网络访问权限时，能够自主攻击小型、弱防御和脆弱的企业系统。然而，TLO与现实世界环境在多个方面存在差异。它缺乏主动防御者和防御工具，施加的惩罚条件...