两位现代 AI 的“教父”及 OpenAI 和 Anthropic 的高级管理人员向各国政府发出警告，要求他们为 AI “智能爆炸”做好准备，他们表示这可能是历史上最重要的技术发展。由诺贝尔奖得主杰弗里·辛顿和加拿大计算机科学家约书亚·本吉奥联合撰写的报告，因其在该领域的工作被认为是现代 AI 的教父，敦促政客们现在采取行动，以免技术进步失控。作者表示，他们担忧“智能爆炸”，这被形容为“由 AI 驱动的 AI 进步的剧烈加速，将本需数年才能实现的进展压缩到几个月或更短时间内”。这篇题为“如果自动化 AI 研发触发智能爆炸”的论文由包括辛顿和本吉奥在内的多位作者共同撰写。其他作者包括 Anthropic 的联合创始人杰克·克拉克和 OpenAI 的首席科学家雅库布·帕霍基。他们的关注点集中在 AI 能够在没有人类干预的情况下自我改进的可能性上，这一过程被称为“递归自我改进”。在论文中，这一过程被广泛称为自动化 AI 研发。一旦 AI 系统在 AI 研发方面达到专家级能力，单个开发者就能够运营一个相当于“数百万”顶尖人类研究人员的工作队伍，论文指出。作者表示，自动化 AI 研发最可能是智能爆炸的源头，因为 AIs 已经开始提高自身技术，而一旦构建完成，随之诞生的改进系统可以迅速部署。论文指出：“智能爆炸可能是人类历史上最重要的技术发展，将数年的进展压缩到几个月或更短的时间，威胁到人类对 AI 系统的控制，并严重侵蚀各国、公司和政府各个部门之间的权力制衡。”作者们敦促各国政府迅速采取行动，称：“一旦智能爆炸开始，采取行动的窗口可能会关闭。”他们推荐三项政策优先事项：要求透明的 AI 相关研发进展报告，包括在公司中嵌入独立审计员；找到限制迅速发展的 AI 的方法；以及准备适应智能爆炸。Anthropic 和 OpenAI 都同意让独立评估者评估其模型，此前他们警告称，AI 发展在安全方面已经达到了一个关键阶段。Anthropic 表示，AI 现在可以生成其 80% 的代码，而 OpenAI 在新模型的训练等领域使用自主 AI 代理。“初步证据表明，驱动软件的智能爆炸是可能的，”论文中提到，补充道这将导致“高度能力或超人类 AI 系统的极其快速的发展”。尽管这可能产生医疗突破和技术飞跃，但也带来了三大风险：强大的系统可能会引发生物和网络威胁，这些威胁的发展速度快于应对措施的形成；随着人类在 AI 研发中的参与减少，他们可能会失去控制系统的机会；各国可能会利用智能爆炸将网络空间等领域的微小领先转化为决定性优势。报告承认这些影响是“不确定的”。例如，考虑到需要建立特殊材料的供应链或遵守法规，技术突破的实施可能需要时间。作者们表示，AI 系统还可能加速风险缓解的速度。如果发生这样的突破，作者们说，AI 系统可能会迅速在大多数领域超越人类专家，并“极大加速”技术进展。准备应对这一点“应该是一个紧迫的优先事项，包括在最高层的政府领导中”。他们表示，各国政府应考虑应对智能爆炸潜力的政策，包括：要求透明的 AI 相关研发进展报告，包括在公司中嵌入独立审计员；限制 AI 在特定时间内的改进速度；与数据中心合作，以便暂停某些 AI 研发项目；确保自动化 AI 研发系统完全与人类控制隔离；为可能因智能爆炸而产生的各种场景制定“应急响应计划”。尽管系统出现了一些故障，如不服从指令，但人类需要数月才能完成的研发项目可能在 2028 年之前完全由 AI 自动化。“来自 AI 研发自动化的生产力提升尚未达到触发智能爆炸所需的门槛，但新系统的增益可能接近该门槛，”他们表示。