世界领先的人工智能公司所设定的目标是构建一种足够通用的人工智能，使其能够完成任何人类能够做的事情，从解决理论物理中的难题到灵活应对社交环境。最近的机器学习进展似乎使这一目标似乎触手可及。目前，我们对此感到不安的是，排除在未来一两年内实现比任何人类更有能力的人工智能的可能性，而如果这一结果在二十年后仍未实现，我们会感到适度惊讶。MIRI的研究科学家目前的观点是，如果在本十年内开发出超越人类的人工智能，结果将是前所未有的灾难。CAIS声明，得到了该领域众多高级研究人员的广泛支持，指出：减轻人工智能带来的灭绝风险应当与其他社会规模风险（如大流行和核战争）一起成为全球优先事项。我们相信，如果研究人员基于该领域目前的技术理解或方法构建超智能人工智能，预期结果将是人类灭绝。“世界各地的研究实验室目前正在构建很可能导致人类灭绝的技术”，这一结论应该促使迅速的政策响应。然而，人工智能的快速发展使政府和投票公众措手不及。本文档旨在帮助读者跟上进度，并概述可能能够避免灾难的政策步骤。本文档的关键点：人类水平的能力没有上限。超人工智能很可能表现出以目标为导向的行为。超人工智能很可能追求错误的目标。构建出具有错误目标的超人工智能将是致命的危险。通过足够积极的政策响应，可以避免灾难。 1. 人类水平的能力没有上限。CAIS声明的签署者包括人工智能领域引用最多的三位现存科学家：杰弗里·辛顿、约书亚·本吉奥和伊利亚·苏茨克维尔。其中，辛顿曾表示：“如果我是在给政府提供建议，我会说，在接下来的20年里，这些东西有10%的机会会消灭人类。我认为这个数字是合理的。”在2024年4月的问答中，辛顿表示：“我实际上认为风险超过50%，是一种存在威胁。”人工智能如此极端危险的根本原因在于，人工智能的进步并不会止步于人类水平的能力。具有足够人类水平通用性的系统的发展可能迅速导致人工超智能（ASI）：在所有能力（包括经济、科学和军事方面）上都显著超越人类的人工智能。在历史上，当世界找到了一种自动化计算任务的方法时，我们通常发现计算机能以远远高于人类的效率和速度执行该任务，而且规模更大。最近人工智能在棋类游戏和蛋白质结构预测方面的进步无疑证明了这一点，在这些领域，人工智能几乎没有时间在顶级人类专业人士的能力水平上，然后就超出了人类的能力。在战略丰富且难以掌握的围棋游戏中，人工智能在一年内实现了从与最弱的人类专业人士比赛中一场未赢到与最强的人类专业人士比赛中一场未输的飞跃。具体来看一下AlphaGo Zero：在三天内，AlphaGo Zero从对围棋一无所知，到变得比任何人类玩家都更具能力，没有任何人类游戏或策略的信息。就大多数维度而言，计算机硬件在计算的基本活动上远远超越其生物对应物。虽然目前远不如人类大脑能量效率高，但现代晶体管可以以每秒至少一千万次的速度切换状态，而神经元发放的速度则远远低于这个速度。计算系统的工作记忆和存储容量也可以大大超过人脑。目前的系统已经比任何人类更快地生成散文、艺术、代码等。在人工智能能够执行最聪明的人类能够执行的所有类型的认知任务时，我们不应期望人工智能的速度优势（或其他优势）会突然消失。相反，我们应该预期到超越人类的人工智能在速度、工作记忆等方面会大幅超越人类。人工智能的架构大部分是数字化的，这使得即使是已经部署的系统也能够快速重新设计和更新。这赋予了人工智能自我修改和自我改进的能力，速度远远快于人类。反过来，这可能会形成一个反馈循环（I.J. Good的“智能爆炸”），因为人工智能的自我改进加速并改善其自我改进的能力。人类的科学能力对世界产生了巨大的影响。然而，我们在核心科学能力上仍然远未达到最佳阶段，例如：心算能力；而我们的脑也不是由进化优化来做这样的工作。更一般来说，人类是一个年轻的物种，进化才刚开始探索设计空间。