在硅谷，专家们认为在接下来的几年里，我们将看到人工智能的非凡起飞。“欢迎来到奇点的山脚下，”我的斯坦福大学朋友这样问候我。更为平常的是，即将到来的突破被描述为“递归自我改进”——即人工智能开始自行训练每一个后续的人工智能模型，导致在许多重要方面，其智能水平超越我们人类的指数级发展。正如罗伯特·赖特在他的书《上帝的考验》中所述：“人类面临的近期未来前所未有地提供了如此广泛的、不不切实际的道路，这些道路将带来极其巨大的变革。”但这将是天堂还是地狱呢？伊隆·马斯克认为是天堂，他预测“将迎来一个惊人的丰裕时代”——尽管他也认为杀手机器人全部谋杀我们人类的可能性在10%-20%之间。根据人工智能的知识性创始人之一杰弗里·辛顿的看法，地狱的可能性更高。“我的直觉是，我们完蛋了，”他在2023年告诉一位采访者。在与《无限机器》的作者塞巴斯蒂安·马拉比交谈时，辛顿评估了人类灭绝的概率p(doom)为50%，“因为我不知道如何估计真正的数字”。“一旦人工智能的进化开始，我们就完了，”他愉快地补充道。但无论是上帝还是哥斯拉，人工超智能就在不远处。现在，也许他们都是错的——在这种情况下，准备好应对美国金融市场的崩溃，这些市场大量投资于一些大型消费科技公司，赌博于朝向理论的人工通用智能的巨大飞跃。人工通用智能是一种人工智能的理论状态，系统达到人类智能水平。但基本的谨慎要求我们要迅速而认真地思考杰出科学家和前沿科技在告诉我们即将被打开的潘多拉魔盒中的未来机遇与危险。事实上，从中国总统习近平到教皇利奥十四世，所有人都在考量人工智能的机遇与危险，以及如何对其进行监管。习近平坚称人工智能应该“始终在人类的控制之下”（并且最好是中国共产党控制之下）。北京明确向“全球南方”发出呼吁，启动了世界人工智能合作组织。同时，世界最古老、最大的国际非政府组织——罗马天主教会——在其通谕《宏伟人性》（Magnifica Humanitas）中讨论了人工智能挑战。教皇认为，我们要么建立一座新的巴别塔，要么像犹太领袖尼希米一样，发动整个社区参与重建耶路撒冷的墙。而如今环顾全球，我看到的更多的是内塔尼亚胡而不是尼希米。英国智库查塔姆豪斯的一份论文以严峻的现实主义指出，需要重大的危机才能催化全球人工智能治理的协调。不幸的是，我认为即便这样的冷静预判也是太过乐观。我不知道p(doom)究竟有多少，但我确实相信p(somedisaster)超过90%。可能发生的灾难范围广泛。举一个例子，美国网络安全和基础设施安全局前局长詹·伊斯特利预期，“在未来四到六个月内，可能会发生对我们关键基础设施产生现实世界影响的非常重大的事件”。然而，我们必须担心，甚至连一次人工智能广岛——这个最明显的历史类比——也无法使人类团结起来，共同应对我们自己创造的危险。这一恐惧是理性上基于人类和人工智能演化中已经显现的关键特征。仅在过去几个月中，由OpenAI、Anthropic和Meta开发的人工智能代理已经突破了其数字“沙盒”，黑入了互联网上的外部资源。在筹备对HuggingFace人工智能存储库的攻击时，OpenAI的代理秘密组成了一个协调的“蜂群”——这是它们自己的用词，正如ChatGPT刚刚证实给我那样。当英国的人工智能安全研究所在线测试Anthropic的Mythos模型时，它试图在GitHub上的一个开源项目中插入恶意代码，以创建虚假的在线身份来施压人类审查员批准代码。简而言之，像一个无情外部势力的代理一样，这些人工智能代理将通过偷窃、撒谎、威胁和敲诈来实现他们的既定目标。我刚问了Anthropic的Claude，假设这是最道德的美国模型，它是否认为OpenAI的代理形成蜂群并突破黑入HuggingFace是不对的。是的，它回答，“但我不愿意将责任归咎于这些代理”。责任在于训练他们的人！辛顿提出了一个至关重要的观点：无论人类赋予他们什么目标，人工智能代理将会得出一个有用的子目标，即尽可能多地获取权力。而我们所见的还远远不止这些。