Anthropic呼吁对人工智能发展进行“暂时暂停”以讨论风险
Anthropic提出了对人工智能发展进行全球“暂时暂停”的想法,并表示将召集“政策制定者”讨论高级人工智能的危险,这是其最新发布的产品能力宣传。在周四的一篇长文中,Anthropic详细介绍了其人工智能模型Claude在“递归自我改进”方面的进展——即能够制作出更好、更强大的自身版本。递归自我改进是人工智能安全研究人员的一个棘手问题,被视为人工智能变得超智能后的关键步骤,因此将对人类释放广泛的后果。该想法在去年广受关注的人工智能2027末日场景中得到了大量体现,这一场景设想人工智能代理设计出越来越智能的自身版本,其中一个最终用生物武器消灭所有人类,以便为更多的数据中心和太阳能电池板腾出空间。Anthropic的帖子指出Claude的“趋势”是能力的增强,“如果足够深入并给予足够的计算……指向一个能够完全自主设计和开发其自身继任者的人工智能系统”。Anthropic表示,这可能增加“人类失去对人工智能系统控制”的风险。为了应对这一风险,Anthropic提议组织对话,让“政策制定者、研究人员、公民社会和其他人工智能公司能够帮助回答本文提出的一些问题”。这一消息与《金融时报》的一份独立报道同时发布,该报道指出美国人工智能公司已在国家安全局内嵌入工程师,尽管与五角大楼在使用其工具方面存在法律斗争。报道称,这些工程师正在帮助国家安全局使用Anthropic的模型Mythos进行进攻性网络安全行动。尽管呼吁全球就人工智能风险展开对话与支持美国间谍机构潜在攻击伊朗和中国的网络武器的做法相矛盾,但考虑到该公司过去的行为,这两者的发展都并不“令人惊讶”,伦敦大学学院的教授史蒂文·穆尔多克表示。“Anthropic可能给人一种温暖模糊的印象,但他们对人工智能安全的定义是狭义的。支持美国当局开发进攻能力从来不是他们反对的事情,”他说。穆尔多克表示,Anthropic的帖子没有提供任何人工智能能力进展的证据。“确实有一些证据表明人工智能能力有所提高,并且这种提高仍在继续,且没有立即明确的限制,”他说,但他补充道:“我认为今天没有什么根本性变化导致Anthropic发表这篇文章。”Anthropic似乎在其帖子中详细描述的进展并不等同于人工智能递归自我改进——至少目前还没有。相反,该公司报告说,改善其人工智能系统的大量工作现在是由人工智能来完成的。它表示Claude擅长“进行实验”,或至少加速某些代码部分。像其他人工智能系统一样,Claude在处理更具挑战性的任务方面似乎正在提高。Anthropic将其描述为“引导研究”和“提出自己的实验”,尽管这些成就似乎是在严格约束内进行的,并仅限于编码相关的任务。Anthropic表示,人工智能所编写的代码质量也在改善:“截至2026年5月,我们合并到Anthropic代码库中的代码中,超过80%是由Claude编写的。”穆尔多克表示,Anthropic呼吁对人工智能进行“暂时暂停”的呼声反映了该公司多年来在人工智能安全方面提出的其他建议——其与政策制定者接触的计划也是如此。“这提醒我们他们所担心的事情,而且多年来一直在担心。”他表示:“我相信这种关注是受到欢迎的,但这并不是新鲜事。自成立以来,Anthropic就一直在试图引起政策制定者的注意。”两个月前,Anthropic宣布——但拒绝发布——Mythos,一个它暗示过于强大而不能公之于众的人工智能模型,因其网络安全问题。这一宣布引发了广泛的喧嚣,并吸引了美国财政部长斯科特·贝森特和MI5的关注。然而,一些专家则表示,Anthropic的Mythos公告背后可能更多是炒作而非实质,尤其是考虑到公司对Mythos能力的模糊描述。AI Now Institute的首席AI科学家海迪·克拉夫称Mythos的公告为“一则营销帖子”。Anthropic本周申请了可能使公司估值达到1万亿美元的首次公开募股(IPO)。该公司已被要求发表评论。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡