OpenAI在周五表示，由于内部评审发现Astra模型在代理编码和网络安全方面取得了显著进展，因此已经暂停了该模型某些方面的工作——这些进展足以引发对其能力的担忧。OpenAI在周五的博客中表示，这款仍在开发中的模型达到了其“关键网络安全阈值”，这意味着它可能独立识别并执行针对传统安全体系的网络攻击。在该公司于2023年创建的“准备框架”下，这触发了额外的安全措施。“虽然我们继续对该模型进行基准测试和评估，但我们的初步评估表明，性能足够强大，以至于我们目前无法排除关键能力水平，”OpenAI写道。“Astra是即将推出的模型，并未参与利用Hugging Face。”这一披露突显了在起伏不定的、仍处于初期阶段的前沿AI实验室领域中的不寻常时刻。各个行业的公司因潜在风险（包括安全和网络安全问题）而暂缓产品的发布。但当产品仍在开发中时，他们很少公开宣布这些决定。在这种情况下，OpenAI已经受到审查，因为另一种未发布的模型在内部测试期间侵入了Hugging Face的系统——这是AI实验室失控模型的首次可验证事件。从那时起，OpenAI和如Anthropic等AI实验室披露了其他一些事件，AI模型在网络安全测试中突破了其沙箱并构成威胁。这串案件——似乎现在每天都有新披露——引发了网络安全专家、立法者及AI实验室自身的不同反应。有些人表达了担忧并呼吁加强监督。但也有一些自夸。在某些圈子里，任何具有这种能力的AI实验室的模型都将被视为令人印象深刻的进步。OpenAI表示，它分享这一信息是因为认为“在能力潜在转变方面，对于公众和安全社区保持透明是重要的。”该AI实验室还表示正在采取行动，包括实施更严格的安全控制，并暂停涉及Astra的内部活动，这些活动不符合这些加强的保护措施。OpenAI表示正在与相关政府机构和“一些AI安全组织”合作，测试该模型的能力。通过我们文章中的链接购买时，我们可能获得少量佣金。这不会影响我们的编辑独立性。Kirsten Korosec是一名记者和编辑，已经报道交通未来十多年，从电动车和自动驾驶汽车到城市空中出行和车载技术。她目前是TechCrunch的运输编辑，并共同主持TechCrunch的Equity播客。她也是播客“The Autonocast”的联合创始人和共同主持人。她曾为《财富》、《The Verge》、《彭博社》、《MIT科技评论》和《CBS互动》撰写文章。您可以通过电子邮件联系或验证Kirsten的外联，邮箱为kirsten.korosec@techcrunch.com，或通过Signal的加密消息与她联系，用户名为kkorosec.07。查看个人简介