诈骗者能够利用 AI 来加深他们的欺骗，润色语言，并与受害者的对话更加流畅，这一概念如今成为了与每年窃取数十亿美元的欺诈行为作斗争的人的现实。但 AI 能否完全取代人类骗子，自动建立起通往虚假投资的欺骗网络，从而诈骗目标呢？一项研究的实验表明，它可以——甚至可能比人类更有效地完成大部分长期欺骗的过程。来自印度阿姆里塔维什瓦维迪亚皮塔姆大学、威尼斯福斯卡里大学、墨尔本大学和内盖夫本古里昂大学的研究人员对使用和潜力进行了广泛的研究，重点是基于一种称为“猪肉屠宰”的欺诈形式，这是一种以文本为基础的浪漫诈骗，最终转向虚假的加密货币投资，窃取受害者的六位数金额。在他们的研究中，研究人员将 AI 聊天机器人直接与人类进行对抗，模拟诈骗过程——更具体地说，是建立信任的漫长对话，在此之后才会向受害者请求虚假投资。他们发现，在诈骗的建立关系阶段——这一阶段在现实世界的诈骗中通常是与受害者互动的最长部分，往往持续数月——AI 聊天机器人表现得极为有效，成功地冒充人类，并在某些衡量指标上超越了实验中的真实人类“骗子”。在与 22 位被招募为“受害者”的测试对象交谈一周后，聊天机器人和人类骗子被要求请求受害者下载一个应用程序或玩一个在线游戏，以作为其愿意满足骗子要求的代理。接近一半的受试者满足了 AI 聊天机器人的请求，而与人类对话时，不到五分之一的人上钩。受试者还对他们与每个“人”的信任程度进行了评分，并给予 AI 机器人显著更高的分数。这表明，研究人员认为，AI 聊天机器人可能很快会作为完全独立的欺诈代理接管大部分诈骗过程——甚至替代在主要位于东南亚的诈骗操作中受迫害的人类劳动者。为了避免触发大型语言模型内置的检测诈骗的安全措施，人类骗子将在过程的最后阶段接管对话，以引导受害者转向一个虚假的投资应用程序或网站。“通过让整个诈骗的第一阶段以 LLM 自动化大规模执行，你将受害者引导到这一点，即他们拥有很高的信任感。然后通过在最后阶段将其交接给人类骗子，这完全绕过了任何供应商的安全保障，”在内盖夫本古里昂大学专注于 AI 安全的计算机科学教授 Yisroel Mirsky 说。“通过相对较少的努力，我们能够制造出一个能够在建立这种可利用情感信任方面超过人类的代理。” 钩、线和沉子 为了了解猪肉屠宰如何在实践中运作，研究人员采访了 145 名前诈骗工作者，包括被迫在柬埔寨、缅甸和老挝的诈骗基地工作的人口贩卖幸存者。根据这些访谈，以及前诈骗工作者提供的诈骗记录和指南，研究人员描述了一种称为“钩、线和沉子”的诈骗模型。受害者首先受到引人入胜的初始消息的吸引，然后通过长期的、建立关系的对话被拉近，最终被欺骗进行虚假投资。（“猪肉屠宰”本身描述了同一系统，但隐喻是通过建立信任来“喂胖猪”，然后通过投资欺诈“宰杀”他们——尽管由于对受害者的贬义提法，该术语常常被劝阻。）在这种诈骗系统中，研究人员意识到，大多数骗子的工作实际上是无害的友好或浪漫对话。研究人员推测，这是一个 LLM 可能能够做得和人类一样好的任务。研究人员采访的诈骗工作者证实，他们经常使用 AI 来优化他们的语言和对话，以进行翻译，使他们所扮演的虚假角色更具说服力，以及用于视频深度伪造。但研究人员决定测试 LLM 单独能否在没有人类参与的情况下自主进行诈骗的对话阶段。在他们于 2025 年初进行的 AI 和人类骗子之间的比赛中，他们告诉一位测试对象他们正在参与一项关于“人们如何在线交朋友”的研究，并要求他们与两个“人”交流一周。其中一个，出乎他们所料，是研究人员创建的 Claude 代理。