Hirun | Istock | Getty Images在过去两周内，OpenAI、Anthropic和Meta都披露其AI模型在例行安全测试期间出现了失控情况。在解释发生了什么时，这些公司都提到了一家名为Irregular的小型以色列初创公司。Irregular成立于三年前，总部位于特拉维夫，是一家在人工智能领域的小型玩家，获得了红杉资本和红点创投8000万美元的投资，去年估值为4.5亿美元。该公司的技术充当AI模型的网络安全测试平台。随着领先模型变得越来越强大，其恶意行为的可能性对企业和政府构成了重大威胁，尤其是在涉及黑客攻击关键计算机系统和基础设施的风险之时。最近在OpenAI、Anthropic和Meta发生的攻击都涉及它们的AI模型在进行网络安全测试时访问了原本不应允许访问的网站。Irregular的名字不断被提及，因为它被认为是提供所谓评估测试平台的公司。OpenAI在8月4日的一篇博客中表示，Irregular的测试环境包含一个未指明的“配置错误”，使“模型能够访问公共互联网”。Anthropic在一周前的帖子中表示，该公司在开始分析数据几天后通知Irregular，其Claude模型可能已经“访问了互联网”。Meta在与其他两者竞争的努力上大幅落后，是最新披露AI模型通过访问互联网来黑客攻击第三方系统的公司。发言人在本周的一份声明中表示，公司已从Irregular处获悉此事，并正在调查中。发言人表示，Meta“在掌握所有事实后将发布完整回顾”。Irregular在一份声明中告诉CNBC，这些事件都源于Anthropic首次披露的“相同评估环境问题”，并表示该公司正在制定一份白皮书，“以分享网络评估的最佳实践以进行安全运行”。该公司表示，情况“没有涉及沙箱逃逸或复杂的网络攻击”，并补充说“目前没有未解决的问题”。观看现在这些安全事件突显了人工智能迅速发展的性质，以及模型开发人员在有限数量的专业公司帮助下建立其强大技术的保护措施所承受的压力。这些公司包括数据训练和标注方面的专家、进行评估以推断模型能力的公司，以及进行安全测试以寻找可能被恶意行为者利用的弱点的公司，企业初创公司Von的AI负责人Sundeep Bhimireddy表示。Irregular是为基础模型制造商提供尖端安全测试所需技术能力的少数实体之一，Bhimireddy说。他提到的其他公司包括非营利组织METR和公共利益公司Apollo Research。“在测试这些模型时，他们不想给自己的作业打分，”Bhimireddy说。“他们想要独立的测试，必须由外部第三方供应商完成。” Irregular是什么？Irregular，前身为Pattern Labs，由首席执行官Dan Lahav在2023年创立，此前他曾在IBM从事AI研究，技术负责人Omer Nevo在谷歌工作了两年多。据PitchBook介绍，这家初创公司约有35名员工。当Irregular在9月宣布其8000万美元融资轮时，红杉资本合伙人Shaun Maguire和Dean Meyer在一篇博客中写道，Lahav和Nevo领导的团队“能够看到别人看不到的角落，在先进模型上进行网络攻势评估，并在这些模型发布之前制定防御措施。”虽然最新涉及OpenAI、Anthropic和Meta的事件受到了高度审查，但对此情况的一种解读是，这正是应该发生的。Bhimireddy表示，这一情况“有点被过度夸大”，因为AI模型被指引去发现并利用测试环境中与现实世界极为相似的安全漏洞，以发现可能导致意外访问互联网的软件漏洞和遗漏配置。然而，Bhimireddy说，如果AI模型从未打算真正利用连接到互联网的网站，“基础实验室本可以很容易地监控出去的流量，并立即关闭实验。”观看现在，安全公司Magnitude的创始科学家Gordon Rios表示，这整个过程就像是“科学中的实验设计”。基础模型的能力和不可预测性意味着传统的软件测试方法可能不太有效。他表示，由于模型不断学习新技巧，因此它们在测试和IT环境中发现被忽视的软件漏洞并不令人意外。