Discord承认AI审核漏洞错误地禁止用户上传无害图像
Discord已确认其AI审核系统的一个漏洞在过去两个月中错误地禁止了超过8,000名用户,因为一些无害图像——包括电子表格、棋盘、游戏材质以及白色和灰色透明背景——被错误标记为有害内容。该公司确认,自5月以来这一问题一直影响用户账户,并在周末又有200名用户被禁止,直到其团队识别并修复了该问题。目前,所有受影响的账户正在恢复过程中。这一事件突显了围绕AI辅助审核日益增长的挑战,因为许多平台越来越依赖于自动化系统来大规模识别非法或攻击性材料。在一条详细的X推文中,Discord解释了其自动化安全系统如何通过将上传内容与已知有害材料的数据库进行匹配来工作。虽然该技术旨在捕捉非法内容,但公司承认有时会产生误报。人类审核员会审查内容,但一个漏洞导致该系统立即禁止受影响的账户。“我们正在努力改进安全措施,以确保这种情况不再发生,”该公司写道。我们的系统通过将内容与已知有害材料进行匹配来标记内容。这种相似性匹配可能会导致误报,这就是为什么我们的信任与安全团队的成员在采取任何行动之前都会审查标记的内容。其预期行为是…… — Discord Support (@discord_support) 2026年7月7日。在X和Reddit上,用户声称他们仅因上传包含方格图案的图像而被永久封禁。几位用户推测,Discord的AI审核工具可能对网格状图案变得更加敏感,因为这些图案之前曾被用于尝试遮掩或伪装不适合工作和儿童剥削内容以规避自动检测系统。受影响的用户在社交媒体上表达了沮丧,其中一些人认为,单靠自动检测而导致的永久账户封禁可能会产生严重后果,特别是对于依赖Discord进行工作、游戏社区或长途社交联系的用户。“因如此不公平的事情丧失Discord账户可能会极具破坏性,严重影响用户,每天都有数百万用户受到假性AI封禁的影响。这需要停止,”一位X用户写道。我的账户因你们的AI自动审核检测到我的游戏材质为儿童性虐待材料而被错误封禁。我需要找回我的账户,因为我是游戏总监,所有沟通都依赖Discord。我已请求审查我的封禁。@discord @discord_support pic.twitter.com/QfAkCIJo6S — JDBRYANT 🎂 TODAY (@jdbryantdev) 2026年7月4日。Discord并不是唯一因为自动系统面临审核问题的平台。去年的时候,Instagram和Facebook群组的用户报告了广泛的无解释账户封禁,很多人相信是由于AI审核系统造成的。尽管用户指出自动化可能是罪魁祸首,但Meta从未公开确认是否是AI错误导致的。现在,Meta的监督委员会正在推动增加透明度。去年,Tumblr也面临用户投诉,称他们的账户在没有明确解释的情况下被大规模暂停。当您通过我们文章中的链接购买时,我们可能会获得少量佣金。这不会影响我们的编辑独立性。Lauren负责TechCrunch的媒体、流媒体、应用程序和平台。您可以通过发电子邮件到laurenf.techcrunch@gmail.com或通过Signal上的加密消息联系或验证与Lauren的联系。查看简历
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡