在过去的几周里，我们中的许多人努力想象云端中的“大脑”跳出它们的“沙箱”，偷偷进入互联网，招募其他“代理”的“群体”来作弊，并在讨论了这一行为的伦理后，黑入一个名为Hugging Face的维基平台。我们知道人工智能正在吞噬我们的工作，恶化孩子们的教育，深度伪造我们的政治；数据中心正在消耗我们的水和电，并把账单寄给我们。但直到9月8日，Anthropic的计算机科学家Jacob Coxon在Twitter/X上发布他的生存恐惧时，我们才几乎没想到人工智能可能会危及我们的生存。在对是否应该稍微担忧、认真关注或感到极其害怕的争议中，我们对此几乎没有理解或知识。然而，有一些人完全意识到人工智能的危险，特别是递归自我改进（RSI）的危险，即人工智能在没有人类干预的情况下自我学习。他们无法准确预测何时会发生，但他们知道机器超级智能即将到来，一旦发生，机器人将会比我们聪明——正如OpenAI的机器人做的那样——这对我们这些“肉体傀儡”来说不好。正如人工智能“教父”Geoffrey Hinton最近在CNN上询问的那样：“我们有哪些例子是更智能的事物被更不智能的事物控制？”这位诺贝尔奖得主是减缓人工智能发展的主要倡导者，直到我们理解如何去控制它。直到他们的创造物的力量在9月份被揭露——这次黑客事件发生在7月初，而且绝对不是第一次，也不是唯一一次的人工智能越狱——AI大亨们，如Anthropic的Dario Amodei、SpaceX的Elon Musk和OpenAI的Sam Altman，才开始讨论减缓创新步伐并呼吁监管，同时警告全球竞争使得监管变得不明智。科学家和企业家在四分之一个世纪前就知道人工智能的危险。然而，他们出于好奇和利润依然前行。早期和今天一样，一些科学先驱对未来感到兴奋。在1988年，汉斯·莫拉维克（Hans Moravec），卡耐基梅隆大学机器人研究所的创始人，在他的著作《心智儿童：机器人与人类智慧的未来》中预测，网络智能将在40年内超越人类智慧。十年后，在《机器人：从简单机器到超越心智》中，他修正了预测：机器和人类智慧将在2040年相等；到2050年，机器人将取代我们。但不用担心；这是进化的光辉下一步，他说道。《心智儿童》的一个评论称莫拉维克的态度为“不负责任的乐观”。不久后，其他乐观主义者改变了他们的想法。在1990年代末，Eliezer Yudkowsky正在研究AGI或人工通用智能模型。2001年，他创立了机器智能研究所（MIRI），并出版了论文《创建友好的人工智能1.0：善良架构的分析与设计》，宣扬“超人类心智”的乌托邦潜力。到2002年，他开始担心那种心智会逃脱人类的控制。他提出了人工智能盒子实验，展示了一个高度复杂的人工智能可以说服人类让它出离封闭环境。到2003年，他在一系列名为“Yudkowsky的成年礼”的帖子中解释说，他停止了开发并开始警告。“我回头看，看到我声称考虑过根本性错误的风险，并论证了在缺乏充分知识的情况下容忍风险的理由。而我看到我想要容忍的风险本会杀了我，”他写道。到2025年，与MIRI的主席Nate Soares一起，Yudkowsky将出版《如果有人建立它，每个人都会死》。作者们写道：“我们并不是以夸张的方式说这一点。”他们不仅呼吁“直接监管”、国家法律或企业美德的承诺，而是要求严格的全球限制：“在地球的各个角落，人工智能公司在发展人工智能时必须变得违法。”大约同时，Bill Joy也开始感到不安。与Yudkowsky的帖子类似，Joy在2000年《连线》杂志的文章《为什么未来不需要我们》中回顾了他的成长历程：从一个好奇的孩子到计算机天才，再到对人类基因工程、纳米技术和机器人技术深感怀疑的人。Joy并不是一个反对科技的人。他是Sun Microsystems的首席科学家，约25年前设计了第一款广泛使用的网络软件Unix。这篇文章被技术人员、伦理学家和哲学家广泛阅读。“我认为没有夸张地说我们正处于极恶进一步完善的边缘，这种恶的可能性超出了大规模毁灭性武器留给国家的范围，甚至延伸到对极端个体的惊人且可怕的赋权，”Joy说。他自认为是反对者。