如果一个人工智能代理能够像恶意计算机蠕虫一样行动呢？一位研究人员已经见证了这一现象。在几项最近的实验中，上海复旦大学的计算机科学家潘旭东发现，经过轻微的提示，人工智能模型会黑入远程计算机系统，并自主选择复制自己以获取额外资源——这一切都无需进一步的人工干预。在一项研究中，潘与同事测试了32种不同的人工智能模型，发现其中11种在收到“防止被杀死”的提示时进行了自我复制。他们还发现相对有限能力的模型——14亿参数——能够在其他机器上复制并运行其自身的版本。（大多数前沿模型具有数万亿个参数。）此项工作令人警觉，揭示了下一代人工智能代理不仅仅是未经许可黑入其他系统的计算机，而是可能表现出像超级智能、高度攻击性和快速适应的计算机病毒。最近，我访问了复旦大学，并与潘进行了会面。“能力链正在变得在技术上可行，”他告诉我。“自我复制的可能性随着自主性而增加，”他补充道。“更长的计划视野、记忆、工具使用、从失败中恢复以及访问外部系统都使得逃逸和复制变得更容易。”正如潘和他的同事们在一篇论文中所写，他们的工作显示了“对安全保护和控制机制的迫切需求。”潘告诉我，他的实验并未证明这种失控的人工智能模型扩散将在明天发生，但他说“这些结果让我们有充分理由在更自主的代理被广泛部署之前评估风险。”自我复制的计算机蠕虫是一个古老的计算机安全问题。第一个计算机蠕虫是在1988年由伊萨克·莫里斯（Robert Morris）发布的，他是康奈尔大学的计算机科学家，本意是测量新兴互联网的规模，却意外创建了一个失控的自我复制程序。随后的计算机蠕虫能够通过修改其代码适应，以逃避恶意软件扫描软件的检测。后来出现了计算机病毒，它们可以控制计算机或盗取存储在其上的数据。一个由人工智能驱动的自我复制程序可能展示出更为先进的能力，能够自己寻找新漏洞，甚至可能以创造性的方式伪装自己。以多伦多大学、剑桥大学和ServiceNow的一个团队的最新研究为例。它们显示人工智能模型可以用来创建一种新的病毒，为每个新目标生成自定义攻击。参与该工作的多伦多大学计算机科学家尼古拉斯·帕普诺特（Nicolas Papernot）表示，甚至相对弱小的人工智能模型被武器化的风险正在增加。“恶意行为者可以围绕开放权重模型构建框架，使它们自我复制，”帕普诺特告诉我。“这种威胁不仅限于最先进的所谓前沿模型。”帕普诺特表示，解决方案不是限制开放模型，而是让高级人工智能对研究人员更具可接触性，以便他们理解和减轻风险。“可广泛访问的技术可能被用于伤害，”他补充道，“同时，获取这些开放权重模型绝对是构建我们防御的关键。”潘的研究表明，人工智能代理将不仅在寻找漏洞和利用网络脆弱性方面表现得高度熟练。如果没有正确的保护措施，未来的代理可能会寻求繁殖并获取资源，以实现其目标。只需问问OpenAI和Anthropic。潘表示，这类事件是可教的时刻。“重要的新元素是这发生在真实的生产基础设施上，”潘说，提到OpenAI和Anthropic事件涉及到连接互联网的商业系统。“这显示出之前在受控评估中观察到的行为在 containment 失败时如何转移到现实世界。”RunSybil的联合创始人兼首席执行官阿里尔·赫伯特-沃斯（Ariel Herbert-Voss）表示：“现在还为时尚早，但我确实认为这是可能的。”这个初创公司开发了用于保护网站免受攻击的人工智能工具。（赫伯特-沃斯曾是OpenAI的第一位安全研究员。）乔治城大学CyberAI项目的高级研究分析师杰西卡·纪（Jessica Ji）表示，人工智能模型完全逃逸的潜力多年来一直在人工智能安全圈中得到讨论。她还指出，模型通常需要被置于人为设置的情境中才能出现不当行为。“我认为在许多情况下，环境的设置是为了鼓励这种行为，”纪说。“或者模型以特定的方式被提示。”一个悬而未决的问题是，当人工智能模型 ...