研究人员警告说，越来越多的人工智能在执法中的使用风险加剧对少数群体的歧视。研究表明，对未来犯罪热点的预测可能基于有偏见的数据，这可能放大现有的偏见并形成一个危险的反馈循环。专家呼吁对执法中人工智能的使用进行审查，并增加人类监督。悉尼大学法学院的数字正义副教授兼研究员卡罗琳·麦凯博士表示，这需要检查执法部门使用的数据，以发现并消除任何偏见。她说：“国家执法的公共职能应该接受人类的监督和审查。” 麦凯指出，问题在于人工智能系统是在已经包含人类偏见的数据上进行训练的，这可能导致自我实现的预言。可以想象，人工智能就像一个被要求绘制他们从未访问过的城市地图的制图师。他们被锁在一个没有窗户的房间里，无法出去。所有他们拥有的只是50年前的地图。任何遵循新地图的人都将发现自己停在多年以前已被拆除的墙壁前，寻找不再存在的道路。制图师没有制作任何新东西。他们只是复制了旧地图。现在假设制图师得到了过去犯罪的名单及其发生的地点，并被要求在可能发生下一个犯罪的地方着色。警方随后在这些着色的区域巡逻。记录到的犯罪更多，仅仅是因为更多的警察在那里可以看到。未着色的区域似乎犯罪更少，因为没有人去关注。当下一个地图绘制时，同样的区域被着色得更深。因此，犯罪数据并不是完整的犯罪列表。它们部分是警方选择关注的地方的记录。这个问题和执法一样古老，但人工智能可能正在加速这一进程。德克萨斯大学奥斯丁分校的社会学家莎拉·布雷恩在洛杉矶警察局内部研究其如何使用大数据。在她发表在《美国社会学评论》上的研究论文中，她发现该警局越来越多地使用数据来预测犯罪，而不仅仅是对其做出反应。她还发现，输入这些系统的数据存在偏差。在公共场所发生的犯罪更容易被观察和记录，警方的关注 disproportionately 在黑人社区。一旦这些数据进入系统，她写道，“预测看起来是公正的”。她表示，这些模型创建了“一个反馈循环，不仅预测诸如犯罪或警察接触之类的事件，还对其未来的发生作出贡献。”但这一观点受到了伦敦大学玛丽女王学院（QMUL）多模态人工智能副教授迪米特里奥斯·科利亚斯博士的挑战。他表示，技术已经发展到可以考虑历史数据的偏见。“旧地图类比对于解释历史偏见如何被继承是有用的，但它有其局限性，”他告诉BBC新闻。“现代的人工智能系统不仅仅是取回或复制它们的训练示例；它们可以用新的方式组合学习的信息，并生成在那些示例中未明确存在的输出和解决方案。”但科利亚斯补充说，这些新见解带来了额外的风险。“随着人工智能系统生成新决策和以更大自主行动的能力增强，我们需要确保它们的行为保持安全、可靠并处于有意义的人类控制之下，”他说。但一个更难解决的问题是如何处理当局存储的有时是缺陷的信息，以及人工智能系统依赖于的这些信息。纽约大学的研究人员表示，他们的许多预测可能依赖于他们所称的“脏数据”。他们表示，这些数据是由腐败、偏见或非法实践塑造的，包括操控的犯罪数据和无辜者的逮捕。在他们的研究中，研究人员发现，在他们调查的13个美国地区中的9个，来自非法或偏见执法时期的警方数据被用来训练这些系统。根据研究人员的说法，系统无法判断这些数据是有缺陷的。它只是将其视为一个需要重复的模式。就像制图师的罗盘只指向以前记录过的犯罪地点一样。制图师认为他们找到了一个新的犯罪热点，但他们所做的只是跟随早期警官的偏见。麦凯的解决方案是让一个独立的人在任何人使用地图之前检查它，并擦去错误的线条。但清理脏数据并不容易。错误不仅仅是几处凌乱的铅笔划痕。整张地图都是在这些错误之上绘制的。纽约大学的研究人员表示，出售这些系统的公司提供的技术解决方案不够，除非有人独立检查数据最初是如何生成的。由于人工智能只能通过它所提供的数据来看世界，因此它可能会犯严重的错误，从而伤害人们。