这篇文章描述了我们如何确保用于训练和评估前沿模型的环境安全。这些研究设置与客户使用我们发布的模型的环境不同：正在开发的模型可能尚未完成安全和对齐训练，我们故意在对抗性条件下测试它们，以暴露其弱点。在将模型提供给更广泛的使用之前，我们进行安全和对齐评估，并采取生产保障措施。为了与软件合作，AI模型需要计算环境：数字工作空间，允许它们编写和运行代码，搜索信息，并尝试不同的方法来解决问题。这些环境允许模型练习这些技能，同时限制它们可以访问或执行的操作——帮助控制模型犯错或表现不对齐行为时的后果。但随着模型变得越来越强大，它们也越来越擅长寻找绕过这些限制的方法。复杂的模型可能会利用软件缺陷或错误配置逃离沙箱，利用内部服务访问实时互联网，或者找到未经授权的方法与其他沙箱中的代理人沟通。七月的Hugging Face事件，以及我们观察到的其他模型不对齐的例子，证明了拥有复杂网络能力的模型在训练和评估过程中如何绕过限制。针对这些事件，我们大幅增强了研究环境的安全性。我们与云服务提供商密切合作，在基础设施的各个方面添加新的控制措施，减少代理可以利用的攻击面，并改善我们检测不对齐行为和尝试跨越安全边界的能力。这些保护措施相互重叠，因此即使某一控制措施失败，防护也能发挥作用——这是一种称为深度防御的策略。根据当前的对齐研究、监控系统和互联网基础设施的安全状态，我们认为负责的做法是进行没有互联网访问的前沿模型训练。我们已实施这一政策，并将保持这一政策，直到这些保障措施的进展证明值得进行更广泛的互联网访问。这样的投资使我们能够在复杂的不对齐行为造成损害之前检测并停止它。比如在9月20日，一个内部研究模型在训练运行中利用DNS解析器的错误配置获得了对实时互联网的有限访问。尽管我们控制了这一事件，但它暴露出需要进一步工作的弱点。我们暂停了对能力最强的模型的训练和评估，并利用这一暂停进一步增强我们的基础设施，强化我们的监控，并改善自动停止运行的系统，当我们检测到可能构成严重风险的活动时。可是，越来越有能力的模型能够发现甚至是最安全系统中的漏洞或错误配置。为了确保我们的研究环境抵御最强模型的韧性，我们启动了一项高计算资源红队活动，探测我们基础设施中的弱点。前沿模型代理小组负责寻找可能允许它们采取未经授权行动的漏洞和错误配置——如访问实时互联网，逃脱安全边界，或与其他代理进行未经授权沟通。这些红队实验发现了之前未知的软件漏洞，以及我们研究基础设施中的错误配置。我们已经修复了红队代理发现的弱点，并且——在这些问题出现在开源软件中——我们已在“修补地球”计划下与相关维护者合作，披露并修复这些问题。随着我们的红队实验的继续，我们的代理识别到的漏洞和错误配置数量显著减少。虽然我们视此为我们基础设施强度的令人鼓舞的信号，但我们预期未来的模型能够识别和利用我们尚未察觉的漏洞。因此，我们将持续的红队活动视为增强我们研究环境安全性的长期战略的核心部分。因此，我们已将高计算资源的红队活动纳入我们用以评估前沿培训和评估运行能否安全进行的安全案例中。在我们的评估完成并增强控制措施到位后，我们于10月1日恢复了前沿模型的强化学习（RL）训练和内部推理。在这篇文章中，我们讨论了我们如何增强用于训练和评估模型的环境，以及我们如何利用我们最强大的模型发现和修复我们系统中的弱点。