Ben Pan*, Carlo Baronio*, Rohan Choudhury, Eric Lu, Ryan Kim, Deniz Birlikci, TC Qin, Sam Lee, Fermi Ma, Allen Liu, Yang Liu, Sampriti Panda, Jacob Teo, Ray Wang, Gary Chang, Steven Cao, Silas Alberti *平等贡献 07.08.26 今天，我们推出了 SWE-1.7，这是我们迄今为止训练的最强大的模型。它以更低的成本达到了前沿级别的智能，推动了成本性能帕累托曲线的发展。SWE-1.7 是我们在 RL 流水线广泛改进的结果：更好的基础设施、更稳定的训练、更高质量的数据和针对长期任务的新技术。由于 SWE-1.7 是从 Kimi K2.7 基础上训练的，而 Kimi K2.7 已经过广泛的 RL 后训练，因此我们自己的训练带来的巨大附加增益挑战了 '后训练天花板' 的理念，并表明 RL 可以将能力推向远超过以前认为的水平。在 Cognition，我们一直在制定和完善良好代理软件工程的原则，在评估中使用 FrontierCode 1、2，现在在训练中使用 SWE-1.7。我们的模型特别优化了较长时间的异步任务，这是高质量软件工程的重要组成部分。今天，SWE-1.7 可以通过 Cerebras 在 Devin (Web、桌面和 CLI) 上以 1000 TPS 使用。我们鼓励您亲自试试！编码基准结果 在代理编码基准上的通过率（%）。基准 SWE-1.7 Kimi K2.7 Code GPT-5.5 Opus 4.8 Opus 4.7 GLM-5.2 Composer 2.5 SWE-1.6 FrontierCode 1.1 Main 42.3 % 30.1 % 43.0 % 46.5 % 38.5 % 24.5 % 25.6 % 9.4 % Terminal-Bench 2.1 81.5 % 72.7 % 84.2 % 86.9 % 83.0 % 81.0 % 76.0 % 39.7 % SWE-Bench 多语言 77.8 % 73.5 % 76.8 % 84.4 % 80.5 % 74.5 % 71.6 % 58.3 % 本文的其余部分涵盖了我们如何训练 SWE-1.7：基础设施、算法和模型背后的数据工作。我们突出了四个重要组件。保持熵和稳定训练：长期 RL 运行面临两个挑战性的问题：熵崩溃，以及由于训练与推理之间的数值漂移导致的不稳定。我们追踪并解决了每个问题的根源，这使得训练能够持续改进，远超早期运行的停滞期。多集群训练和容错性：RL 不需要将所有推理计算集中在一个集群中。我们在三个大洲的集群上进行训练，通过对象存储转移权重更新，并构建容错机制，以确保硬件故障不再导致运行停滞。策划高质量数据：我们建立了一个广泛的数据质量管道，通过自动执行测试来运行每个任务，过滤掉低学习信号的任务，并加固任务以防止奖励干扰。针对长期任务的自我压缩：模型学习总结其工作状态并从总结中恢复，从而将任务的视野扩展到原始上下文窗口之外。我们使用交替长度惩罚来激励简洁输出，同时不牺牲正确性。最后，我们通过分享一些观察结果来结束，比如模型在我们的训练设置中获得的谨慎探索和简洁推理等有趣的行为倾向。保持熵和稳定训练 我们发现训练稳定性是可扩展性可预测改进的关键因素。当使用异步 RL 进行训练时，我们遇到的最棘手的问题之一是推理和训练之间的 KL 散度不匹配，因为训练策略通常与采样策略不同。在过去，为了解决这个问题（尽管在较小的规模上），我们使用重要性采样和量化感知训练来进行低精度的 NVFP4 + 专家路径回放。这里我们介绍了在更大规模下变得更加重要的其他干预措施。我们发现，top-p 采样显著有助于遏制熵崩溃，其中一个强大的模型在几百个步骤内停止探索并且奖励停滞。非常低概率的标记通常是已经偏离轨道或分布不均的轨迹的一部分。这些轨迹很可能会产生低奖励，而软最大函数的特性导致这些标记强化标记概率分布。确实，假设我们有三个标记的对数 x1>x2≫x3，概率为 pi=exiex1+ex2+ex3，其中标记 3 是一个导致低奖励的低概率标记。如果我们采样标记 3，则其对数概率相对于对数 x1, x2, x3 的梯度是：∇logp3=∇log[ex3ex1+ex2+ex3]=[−p1−p2p1+p2]，而对于对数的策略梯度更新为 Δxi∝A^∇logp3。由于这个轨迹获得了低奖励，A^<0，因此更新为 Δx1∝|A^|p1，Δx2∝|A^|p2，Δx3∝−