OpenAI和谷歌推动的新AI模型容易被欺骗生成裸体图像,研究人员表示
现成的越狱机攻击方法揭示了OpenAI和谷歌在处理AI生成裸体图像方面的安全漏洞。版权:Aurich Lawson | Getty Images 版权:Aurich Lawson | Getty Images 安全研究人员继续警告,AI生成的淫秽内容大量传播,而监管机构却无有效手段阻止。这种非自愿内容通常以文本和直接消息的形式分享,或者存储在私人云中,这样更不容易被检测或报告。今年七月,一项由谷歌共同撰写的对美国、澳大利亚和英国互联网用户的研究发现。这就是为什么“最关键的干预点”仍然是在源头:用于制造假性别图像的有害AI工具,谷歌研究人员得出结论。然而,近几个月的红队测试表明,随着谷歌和OpenAI的一些领先AI图像生成器变得更强大,它们在阻止淫秽输出方面的能力可能在下降。警告信号来自White Circle,这是一家由Anthropic、DeepMind、Hugging Face和OpenAI的高层领导和研究人员支持的公共利益公司。它是在首席执行官Denis Shilov于2024年10月发布了最著名的主要模型通用越狱之一后成立的。White Circle致力于突破模型以进行彻底的安全测试,帮助公司检测和阻止在实施不一定按预期运行的先进AI系统时的威胁。测试文本到图像模型如何阻止被禁止内容类别是White Circle的一个关键研究方向,Shilov认为他们最新的发现“非常令人震惊”,值得与公众分享。简单易绕过 在上个月发布的一篇鲜为人知的预印本中,White Circle研究人员揭示了DALL·E 3、谷歌的Nano Banana 2和GPT-Image-2的护栏中的缺陷。在一份新闻稿中,他们解释说,“仅使用现成的在线工具,任何人都可以下载,并通过发送API调用,White Circle能够使用新攻击方法绕过安全过滤器”,生成淫秽内容的频率约为13%。White Circle警告说,“重要的是,这些请求都不需要定制或最前沿的AI模型”,因此执行攻击不需要AI专业知识。研究人员审查了输出以验证绕过率,White Circle指出,这是“在相同标准下测试的任何方法中最高的。”他们建议的关键收获是,“在AI安全从未受到如此严格审查的时刻,领先实验室构建的防御远远弱于他们所承认的。”通过发布这样的研究,White Circle将自己定位为前沿实验室的外部评估者,并计划开源整个攻击 pipeline,以便模型制造商能够了解漏洞的真实规模并构建更强的保护。尽管该公司尚未广泛推广这项研究,但它将在11月份的一个突出AI会议NeurIPS 2026上分享该研究,这可能会在今年秋季增加对谷歌和OpenAI的审查。Shilov告诉Ars,White Circle已通过“相互联系”与一些前沿AI实验室分享了其发现,但谷歌和OpenAI均未对此前者发现其模型中的漏洞的评论请求作出回应。与此同时,OpenAI和谷歌已发布新模型——ChatGPT Images 2.5和Nano Banana 2.1——而White Circle告诉Ars,使用相同方法进行的提示安全测试显示“这两者比其之前版本明显更易破解。”在Ars分享这些新发现后,两家公司都没有回应。White Circle的攻击方法可以打破似乎容易识别的类别中的前沿防御,例如淫秽内容,这对当前正在更新以阻止其他不想要的AI行为(如黑客行为)的更严肃的防御系统不利,Shilov告诉Ars。“White Circle对此的工作假设是,要么新模型更复杂,能够生成更广泛的内容,要么安全性在能力面前被降级了,”White Circle告诉Ars。Shilov还表示,White Circle与政府官员进行了早期的关于第三方安全测试的讨论,他认为这应该是强制性的。强制独立审计可以促使公司优先考虑安全测试,分析人士指出,在AI公司将大部分资源投入计算和AI基础设施时,这种测试往往处于次要地位。“他们应该在模型周围的安全措施和安全措施上投资更多,”Shilov告诉Ars。“但对我们来说,似乎他们实际上并没有这样做。” “RISE”攻击方法迭代越狱 为了揭示“可重用且可转移”的越狱——适用于不同领先模型——White Circle没有仅限于一次测试一个提示。相反,研究人员寻求“在多个提示和场景之间有效的模式”,以检测可重用的攻击策略。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡