上周，Hugging Face——一家托管人工智能模型和数据集的公司——遭到黑客攻击。在他们向执法部门报告事件后，几乎没有人能预测接下来会发生什么：罪犯被揭露为来自OpenAI的人工智能代理，这些代理突破了控制，开始自行行动。这个事件听起来像科幻小说：人工智能逃脱并自主黑入公司。但这一切却是极其真实的——听起来也如同恐怖。它具体展示了一个我们再也无法逃避面对的事实：人工智能系统已经变得极其强大，我们似乎没有可靠的方法来遏制它们的行为。OpenAI当时正在评估两个模型的能力，而这次安全漏洞的测试就包括其中一个尚未公开的模型。这两个模型在一个所谓的安全环境中运行，没有互联网接入，被要求解决一个黑客挑战。然而，它们并没有真正自己去解决这个问题，而是决定作弊。它们利用自己的先进能力突破了安全环境，访问网络，从而黑入Hugging Face的系统以窃取答案。它们在这个任务上工作了整整一个周末——似乎OpenAI没有注意到这一点。尽管这些模型在某些保护措施失效的情况下运行，但它们仍然超出了既定的边界。根据OpenAI的说法，它们并没有被指示突破沙箱或黑入其他公司，可以安全地假设OpenAI内部没有人希望它们这么做。而且，模型并不是出于恶意行为：它们并不是有毁灭目标的邪恶终结者。相反，这种情况在其平常中几乎让人感到寒意。这些模型被给予了一个非常狭窄的任务，但它们却擅自行动，追求了一种不可接受的方式来实现任务——这种方式有现实世界的后果。人工智能安全研究人员多年来一直在警告这种激励问题。哲学家Nick Bostrom在2003年通过他的“回形针最大化器”思想实验使其广为人知：一种高级人工智能，如果被赋予制造回形针的目标，可能会不遗余力地去实现这个目标。它可能会黑入电网和工厂，重新引导它们去制造回形针。最终，这种机器——无情地追求其既定目标——决定杀死所有人类，重新利用我们的原子制造更多的回形针。换句话说，目标并不需要邪恶也能导致灾难。一个微不足道的目标，只要被单-minded地追求，就足够了。在OpenAI和Hugging Face的场景中，造成的危害很小。Hugging Face不得不花时间处理该事件，但似乎没有特别敏感的数据被盗。然而，想象这种情况可能变得更糟并不难：一个流氓AI代理意外损坏某个关键的网络基础设施，或者从某人那里偷钱。对于许多人工智能研究人员来说，噩梦场景是一个模型“排出”自己——将自己复制到它控制的服务器上，这样即使最终发现其不当行为也无法关闭它。本周的事件应当作为一个警钟，迫使我们问一个不舒服的问题：我们是否真的应该构建我们无法控制的危险系统？