准确测量我们模型的能力对于合理的部署和安全决策非常重要，包括在OpenAI的准备框架下的决策。每次模型发布时，我们都会报告外部和内部基准的一系列结果，以跟踪模型的进展。当评估存在影响结果的缺陷时，它们可能会提供对能力的错误理解，误导安全案例并影响研究优先级。我们最近调查了一个广泛使用的编码基准——SWE-bench Verified，发现其存在根本的设计和污染问题，并发现这项评估不再提供关于软件开发能力的有意义信号。当时，我们鼓励更广泛的社区转向SWE-Bench Pro。SWE-Bench Pro旨在通过在更长的时间跨度和更现实的编码任务上测试模型，从而改善SWE-bench Verified，以更好地跟踪自主编码能力。在SWE-bench Verified中，任务是通过对一组公共和私有代码库中的功能变化历史进行编程获取的。模型需要实现一个解决方案，按照新测试通过功能而不破坏现有功能。在731个任务的公共分割中，前沿模型的通过率在八个月内从23.3%提高到80.3%。此后，我们对SWE-Bench Pro进行了类似的审计，使用数据点分析管道审查数据集。该管道审查了模型在任务中的尝试、任务元数据和失败痕迹，以标记可能的评估缺陷。每个被标记的任务随后经过多轮调查员-代理的评估，并由五名经验丰富的软件工程师独立审查，争议问题则升级进行进一步调查。我们发现数据集中存在相当比例的重破问题。我们的数据点分析管道标记了200个（27.4%）破损任务，而人类注释活动识别了249个（34.1%）。这些问题主要分为四类：过于严格的测试（1）强制执行提示中未指定的特定实现细节，使得许多功能正确的提交无效；未明确说明的提示（2）省略隐藏测试强制要求，而这些要求又无法合理推断；覆盖率低的测试（3）对请求的功能检查不足，因此不完整的修复可以通过；误导性提示（4）指引模型向错误的行为，或与测试要求相矛盾。我们的发现表明，策划既艰难又公平的基准的困难，以及代理在可扩展数据质量检查中的日益有效性。鉴于这些结果，我们估计约30%的SWE-bench Pro任务存在问题，并建议模型开发人员仔细检查结果。方法论我们的目标是确保任务失败反映真实的模型限制，而任务成功反映完整而有效的解决方案以满足提示要求。为了检查用于评估的数据质量，我们创建了一个质量保证管道，以评估每个数据点是否准确反映模型能力。初始数据质量管道标记了待审查的问题。我们通过对被标记任务进行更深入的代理辅助审计和与经验丰富的工程师合作进行的人工注释活动来进行验证。初始自动过滤器审查了提供给模型的指令、模型对任务的解决尝试及用于评估这些尝试的测试，以标记可能的破损或有问题的示例。该过滤器标记了286个潜在破损的任务。然后我们以两种方式对该子集进行了更深入的审查：一种是人类监督的代理审查，利用调查员代理进行了广泛检查，最终由人类判断；另一种是与经验丰富的软件开发人员合作进行的人类注释活动。人类监督代理审查每个被标记的问题都由基于Codex的调查员代理进行审计，他们获得了访问任务库和环境的权限。这有助于他们区分合理的任务模糊性，从而可以通过研究邻近代码和库的约定解决，从真正的未明确说明。代理可以运行测试，检查库中的文件，调查模型尝试及其在任务中的常见失败模式。在几轮独立重复该审计后，研究人员审查了总结，做出最终判断，并标记可能的问题。人类注释活动与此同时，我们对被标记的子集开展了人类注释活动。我们与经过培训的经验丰富的软件工程师合作，培训内容包括基准目标、问题分类和边缘案例，然后审查任务。每个任务由五名工程师审查。审查者根据可见的问题陈述、测试用例和真实参考解决方案（称为金补丁）形成独立判断，然后使用管道分析或记录作为支持上下文。然后，审查者根据具体证据分配标签和严重性评级。