该公司表示担心AI能够构建自己的继任者。Kenneth Cheung/Getty Images Anthropic表示，AI的发展速度非常快，趋势指向系统能够开发自己的继任者。我们尚未达到这个阶段，但它相信这一情况“可能比大多数机构所准备的要早到来。”在一篇博客文章中，Anthropic解释称，能够自我构建的AI可能会“为科学和医疗等领域带来巨大的好处”。然而，这也可能“增加人类失去对AI系统控制的风险。”那么，人类如何防止天网成为现实？Anthropic提出的答案是全球放缓或暂时停止AI开发，“以使社会结构和对齐研究能够跟上技术的进步。”该公司是目前AI竞争中的领先企业之一，与尚未盈利的竞争对手不同，它据报道正朝着实现第一季度盈利的目标迈进。它最近向SEC提交了公开上市的文件，预计在年底之前上市。正如《华尔街日报》所指，批评人士认为，Anthropic对其自身技术的警告是一种营销策略，可能旨在让其在所有AI公司中显得不那么严重，或让其产品看起来是市场上最好的。批评人士特别指出其网络安全AI模型Mythos的有限发布作为一个例子。Anthropic表示，由于其迅速识别漏洞的能力在错误的手中可能造成潜在损害，因此仅向特定伙伴提供Mythos。但是人们认为这只是炒作产品的手段，或者掩盖Anthropic只想将其销售给大型企业的事实。然而，值得注意的是，该公司的建议是基于Anthropic Institute的研究成果，这是其在三月份成立的一个研究部门。Anthropic当时表示，该研究所的角色是“告诉世界”它对AI公司在开发更先进的AI系统时出现的挑战所获得的知识。该研究所将与合作伙伴共同开展研究，以确定“建立可信的放缓或暂停所需的系统”。如果AI公司同意放缓，必须建立机制来验证它们是否真的停止或放慢了AI开发。否则，一些公司可能在秘密开发技术后跳到其他公司之前。“有意义的放缓或暂停将需要多个在前沿地区、多个国家的资金充足的实验室在同样的条件下达成停止，”Anthropic写道。“这还需要每个实验室能够验证其他实验室实际上已经停止。”它的建议只有在全球所有AI公司能够聚集在一起，并承诺暂时停止AI开发时才有可能。Anthropic表示这并非不可能，引用核武器条约作为例子，尽管它承认这些协议是在数十年内达成的。我们没有这么长时间，因为AI开发正在以快速的速度推进。该公司计划在未来几个月与政策制定者、研究者和其他AI公司就此问题进行会谈，并将公布这些对话的结果。