根据WIRED获得的停止侵害函，苹果和谷歌被要求下架能够“裸体化”或“脱衣”的应用，并被告知必须停止从这一有害技术中获利。周四，旧金山市检察官大卫·邱向苹果和谷歌发送了法律通知，要求他们从应用商店中删除13款人脸交换应用，这些应用允许用户创建未经同意的AI生成裸体图像。函件指出，硅谷巨头应停止“帮助和教唆”出售露骨的深度伪造图像，并“切断”与应用开发者的业务关系。“生成非自愿的亲密图像是非法的、有害的，完全不可接受，”邱对WIRED说。邱表示，他的办公室之前已对16个流行的深度伪造网站采取法律行动，他认为苹果和谷歌可能“从提供裸体化的应用中赚取了数百万美元的费用”，并且他们应改善审核流程，阻止这些应用出现在他们的商店中。“这些公司有责任确保其平台上的应用不促进性虐待，”邱说。市里的法律函件指出，加利福尼亚州的法律禁止支持创建深度伪造色情内容的服务。这些应用使用应用内支付，科技公司从中抽成，函件中提到。“全球一些最大和最成熟的科技公司促进这一行为必须停止。”研究人员多次发现并报告了苹果的App Store和谷歌的Play Store中存在的允许人们使用AI生成色情图像的应用——其中一些应用被标记为适合儿童使用。虽然新的法律和禁令旨在解决线上露骨深度伪造图像的蔓延，但科技和社交媒体公司持续引导数百万人使用这种有害技术。苹果和谷歌都制定了禁止在其平台上发布色情、虐待和骚扰内容的开发者政策。它们之前已在研究人员和记者的报告后删除了数十款裸体化和深度伪造应用。谷歌发言人丹·杰克逊告诉WIRED，公司已因政策违规删除了“数百个”具有裸体化功能的应用，包括邱办公室标记的五款安卓应用以及采取的限制措施。“谷歌Play不允许包含色情内容的应用，并且我们不断采取主动措施检测和删除有害内容的应用，”杰克逊在一份声明中表示。“当我们收到违规报告时，我们会进行调查并迅速采取行动，这些应用的案例包括暂停数百个违规应用，限制与'裸体化'相关的搜索词在我们的商店中的显示。”苹果在发布前没有提供评论。在过去五年中，一种高度盈利的深度伪造“裸体化”技术在网上兴起——最明显的是xAI的Grok在一月份被用于创造数百万张性别化图像。一系列应用、网站和机器人允许人们（主要是男性）上传他人（大多数是女性和女孩）的照片，并在数字上“去除”衣物或将其放入图形化的性场景中。往往只需一个参考照片和几次点击，就可以生成性别深度伪造图像，某些结果在几秒钟内可用。随着基础生成AI技术的进步，图像和视频变得更加真实，提供一些结果的服务是免费的或收取小额费用以生成这些有害内容。WIRED和Indicator Media的早期报道揭露了至少在90所学校中创建未成年人的深度伪造性虐待图像的事件。“这些图像被用来欺凌、羞辱和威胁女性和女孩，”邱说。“这个行业对一个人的声誉、心理健康和自主权有着可怕的影响。有些受害者甚至感到自杀倾向。”市检察官办公室调查的13款应用——在App Store上的8款以及在Play Store上的5款——广泛地自我宣传为“换脸”工具，用户一旦使用便能创造性深度伪造图像。一款下载量超过100万的应用网站展示了它将生成的十多种不同风格的AI图像，包括“比基尼皇后曲线”，“沉静丰满”和“电影般的亲密”。许多风格显示女性的性别化图像及其描述。另一款被针对的应用的主页声称能够制作“免费和无审查”的视频。WIRED并未命名这些应用，以避免引导人们去使用它们。这个问题对于苹果和谷歌并不陌生。在过去一年中，多份报告已经识别出公司平台上可以让人们创建非自愿裸体图像或视频的应用。在今年一月和四月，技术透明项目，一个独立的监督团体，发现了大约100款应用分布在App Store和Play Store中。