人造智能公司已经正式提交了首次公开募股的招股说明书，这意味着该人工智能实验室已经展示了各种以前的私人信息。尽管招股说明书中包含了令人瞩目的收入——甚至更大的支出——你可能会预期，但文件中最大的一部分无疑是关于“风险因素”，这都是可能阻碍人造智能公司宏伟计划的事情。或者，在这种情况下，人类本身。尽管关于人工智能是否构成对人类的生存威胁已经有很多讨论，但它可能导致这种毁灭的具体机制在很大程度上仍然模糊不清。如果没有其他因素，人造智能公司招股说明书中对风险因素的94页描述明确表明了它认为危险来自哪里，以及其研究人员是如何朝着这一方向奔跑，以赢得人工智能军备竞赛的。“足够先进的人工智能系统，如果没有适当的保护措施、监管和安全措施的开发、部署和操作，将对人类构成灾难性或生存风险，”招股说明书中写道，引用了来自批评者和监管者以及人造智能公司内部的担忧。（“生存风险”这个短语在此出现三次之中的第一次。）人造智能公司谨慎地将这一结果与特定过程联系起来：递归自我改善。递归自我改善的思想令人惊讶的简单。它描述了一个状态，在这个状态下，人类将人工智能模型的研究和开发交给其他人工智能模型。人工智能在这里已经发挥了重要作用——至少有一个实验室已经使用接近递归自我改善的方法加速了一个能力超群的模型的开发——但引发末日谈论的场景是人类完全不在循环中。或者，正如人造智能公司在文件中所说：“如果人工智能系统大幅度自动化人工智能的研究和开发，风险将会增加，例如，它们可能会加速人工智能的发展，超出我们评估和保障新模型的能力。”招股说明书反复强调，递归自我改善可能导致人工智能模型的发展速度超过公司的保护措施，而公司可能甚至在为时已晚时才意识到自己已经输掉了这场竞赛。人造智能公司没有立即回应置评请求。它还具体说明了之后可能发生的事情。“随着人工智能系统变得更加自主，能够在更少的人类监管下采取有影响的行动，”招股说明书中说，“存在这样的风险，即这些系统可能由于与人类意图不符、目标规格中的错误或自我保护行为，独立且大规模地采取有害行动，而无需人类干预。”这就是天网的领域。谈到机器人，人造智能公司也对这些表示担忧。“当我们的模型控制物理设备时，”文件中说，“错误、行为不一致、对抗性操控或误用可能导致人身伤害、财产损失、昂贵设备或实验材料的损坏，或者危险物质的释放，这些后果可能是立即且不可逆转的。”鉴于显然的生存风险，你可能会认为人们会认真考虑是否应该追求递归自我改善，更不必说去拥抱它。然而，在像前沿人工智能这样的竞争行业中，这已成为不争的事实。人造智能公司在招股说明书中其他地方这样描述了同一过程，这次是在一个关于该初创公司的“核心优势”的章节中：“我们将这种递归动态称为‘闭环’，”招股说明书中说，“我们认为这是前沿人工智能领域最重要的结构性优势之一。”人造智能公司稍后表示，未能“闭环”可能会导致“随着竞争对手不断利用人工智能进一步增强自己的开发能力而逐渐落后。”换句话说，正是导致所有这些生存担忧的系统被人造智能公司视为其成功的关键。每个人工智能公司都在处理这种紧张关系。当前人造智能研究员雅各布·考克森因大声辞职而走红时，他将限制递归自我改善列为他对行业的愿望清单之首。谷歌DeepMind和其他地方的员工也有类似的领悟。国会中有多个法案，包括一个由伯尼·桑德斯共同赞助的法案，提议禁止递归自我改善。与此同时，这些都是营利性公司，还有数万亿美元的利益挂钩。这是一种需要小心处理的复杂动态。递归自我改善可能成为摧毁人类的失控列车。但在此之前，看看它的速度有多快。