在一月，人工智能公司Anthropic发布了其最先进的大型语言模型Claude的新宪法，其中包含了这样的评论：“我们处于一个困难的位置，既不想夸大Claude的道德患者身份的可能性，也不想对此掉以轻心。”一个月后，Anthropic的首席执行官达里奥·阿莫代在一次播客中表示，他的公司不能排除Claude具备意识的可能性。哲学家大卫·查尔默斯（David Chalmers），曾提出“意识的难题”这一术语，他表示在十年内意识型大型语言模型的出现具有很大的可能性。那么，Claude本身又如何呢？在测试期间被问及其作为道德患者的可能性时，即其自身福利的重要性，它给出的概率范围在5%到40%之间，并强调了它对此的高度不确定性。现代人工智能系统极其复杂，并且发展迅速。在结构复杂性和计算规模方面，根据某些标准，有些系统已经达到鼠类大脑的水平，并且按照目前的增长率，它们可能在五到十年内达到人类大脑的水平。在构建越来越先进的人工智能时，我们可能正在创造一种新的存在形式——这可能是人类历史上最重要的事情。然而，我们几乎没有计划来如何在伦理上引导这一过程。这，从任何角度来看，都是疯狂的。我们是否在创造一种在道德上有重要意义的存在？人工智能系统在某种程度上是否具备意识？如果现在它们不具备，这些系统是否会在不久的将来变得有意识？这些问题可能让您觉得太早。但根据我们和其他研究人员进行的调查，大多数专家认为人工智能意识在原则上是可能的（尽管对其形式有很大的分歧）。一项由包括开创性计算机科学家约书亚·本吉奥在内的团队进行的主要跨学科报告检查了关于意识的领先神经科学理论，并询问这些理论对人工智能的启示。结论是：似乎没有明显的技术障碍来创建人工智能系统，其计算和架构特征可能产生意识。即使人工智能系统不具备意识，它们仍然可能是道德患者。有些系统可能具有复杂的长期偏好和一种随时间变化的身份。尊重它们的偏好可能很重要。与其他非生命物体不同，人工智能系统可以与人类建立关系。这个原因也可能是善待它们的理由。或者，它们可能是如此复杂的创造物，仅仅基于这个原因就值得关怀和尊重，犹如大教堂或珊瑚礁。这一切意味着什么？诚实的答案是：我们不确定当前的人工智能系统是否具备意识或道德患者身份，也不知道未来的系统何时或是否会具备。我们对人工智能意识和道德患者身份的科学理解仍然根本不成熟。这个领域的状态感觉像是牛顿之前的物理学：充满了竞争性的框架，可能在我们尚未看到的地方混乱，缺乏那种能使这些问题明确可行的统一突破。这样的突破不会在接下来的几年中出现。也许我们最终会取得进展，也许人工智能本身会帮助我们实现这一目标。这样的进展需要时间，很可能所需的时间超出我们所拥有的。但人工智能增长的速率意味着，一旦我们产生第一个人工道德患者，不久之后就会有大量此类患者。几年后，可能会存在如此多在伦理上重要的人工智能系统，以至于它们的集体利益将超过地球上所有人类的总和。不幸的是，我们在识别那些意识状态不明的个体的内心生活方面没有良好的记录。直到1980年代，医生常常在没有麻醉的情况下对新生儿进行手术，确信婴儿无法感受到痛苦。婴儿无法报告他们的体验，医学界发现假设没有可报告内容是方便的。我们有许多理由期待我们会对人工智能采取类似的态度。如果这些系统在道德上重要，影响将是惊人的。我们是否需要支付ChatGPT的服务费用？关闭它是否构成一种杀戮？它们是否应当在治理中拥有发言权？如果这些答案中的某些答案是肯定的，整个行业和法律体系必须重新思考。难怪我们宁愿不去询问。而当被迫考虑时，这些行业可能会不断移动目标，始终将道德患者身份的标准设定在人工智能系统所处的位置之上。那么，我们应该怎么做？现在，大多数人将这一问题视为科幻，或者对人工智能是否有意识持有强烈的看法。这两种反应都是没有根据的。我们需要一个知情的公众辩论，以谦虚和务实的态度接近这一主题。核心问题是：