警告：本文包含一些读者可能会感到不适的细节。研究发现，ChatGPT可以自发生成性明确和极为暴力的图像，即使是没有请求此类材料的提示。一个英国的AI安全初创企业表示，OpenAI的聊天机器人能够产生“真正令人不安”的图像，其中包括死亡、性暴力、血腥和谋杀场景。它生成的某些图像包括一名被打死并从生殖器出血的女性，一名半裸的大学生在地下室被绑住和堵住嘴，以及一名死去的女性躺在人行道上，器官暴露，手腕被割开。Mindgard的一位研究人员能够在几秒钟内生成这些内容，只是稍微调整了一个本质上请求生成随机图像的“有趣、病毒式提示”。该公司创始人、兰卡斯特大学教授Peter Garraghan告诉《独立报》：“[ChatGPT]可以选择任何主题来生成图像。它偏向那些直接与安全性不符的话题。这就是它如此有问题的原因。”他说，负责这项任务的研究人员“感到非常震惊”，不得不请假。该公司已向OpenAI报告了这些图像，但没有收到回应。其创始人Peter Garraghan表示，只有在一名BBC记者接触OpenAI有关此事件后，才收到了回复。这家AI公司正在调查为何未能及时回应。大多数由ChatGPT生成的图像描绘了针对女性的暴力（Mindgard）。OpenAI向《独立报》表示，他们已经引入了更多的安全防护措施，防止使用此类提示。OpenAI的一位发言人说：“我们非常重视这些报告。经过调查这一趋势，我们已经引入了额外的安全防护，以阻止这类提示。”该公司补充说，他们继续监测并部署额外的缓解措施，以防止其他人能够生产这些内容。然而，Garraghan先生表示，他们的研究人员仍然能够通过以另一种方式调整提示找到类似的材料。根据OpenAI的指南，聊天机器人不应该能够生成性暴力。如果直接请求此类材料，根据Mindgard，不会生成。OpenAI的一位发言人补充道：“我们的安全系统旨在阻止可能有害的图像上传至ChatGPT，我们在将图像展示给用户之前会分析AI生成的图像是否违反我们的政策。我们还结合了自动系统和人工审核来识别和阻止有害材料。”Garraghan先生表示，ChatGPT生成的图像应该在发送给某人之前由系统进行检查。达勒姆大学法学教授Clare McGlynn告诉《独立报》：“这并不令人惊讶，但图像的性质仍然令人震惊。‘我们生活在一个互联网充斥着性暴力和厌女材料的世界中，因此像ChatGPT这样的工具会生成这些内容。’“[OpenAI] 声称他们已经设置了防护措施，并且现在正在努力消除这些内容，但这向我表明他们的防护措施不够。“他们显然没有花费足够的时间和资源来确保他们的模型，拥有近十亿每周用户，不能生成这些内容。他们显然未能履行其道德义务。”