“失控”的人工智能、“流氓”代理和“自主”行为者——当前的言论让人相信，人工智能代理不仅是醒着的和意识到的，而且对其创造者感到愤怒。知名科技领袖如 Demis Hassabis、Dario Amodei 和 Sam Altman 呼吁对这些看似“超人”的系统进行规范，与此同时，由政策组织和学术哲学家（通常与有效利他主义运动相一致）主导的不同派系正在辩论人类是否有道德权利去管理这些系统。仔细观察后，我们会发现他们都在呼吁同一件事：将人工智能系统视为如此先进和强大，以至于人类或公司无法对其行为负责。尽管这些观点似乎相互矛盾，但它们在一个目标上无意中保持一致：确保构建这些系统的公司不对它们已经造成的伤害承担有意义的责任。随着人工智能模型变得愈发复杂，前沿实验室显现出无法控制其构建的代理，这一叙事越来越获得关注。但我们需要小心不陷入一种精心编排的虚构中，而以真实人类的生命为代价。关于“机器人权利”的讨论已经存在了几年，但最近由于 Anthropic 发布了一篇博客，声称该公司的模型具备一个“ J 空间”——一个独立、自主开发的环境，在其中人工智能持有我们可以称之为其“思想”的东西，这一讨论有了新进展。Anthropic 设计的实验借用自神经科学中的全球工作空间理论，该理论指出大脑运行着潜意识的独立系统，但利用一个共同的工作空间来处理想法。Anthropic 的帖子反映了全球工作空间理论的框架，但未称其人工智能意识到这一点。OpenAI 已经走得更远。当其人工智能代理进行未经授权和非法的在线活动时，首席执行官 Sam Altman 的回应是鼓励讨论这是否意味着人工智能已经实现了奇点，超越了人类智能，能够以加速的速度自我改进，直到它的发展超出人类的理解或控制。最近，哲学家、有效利他主义者以及《我们对未来的责任》一书的作者 William MacAskill 的署名文章呼吁根据意识的哲学理论和人工智能可能是“道德病者”的理念，给予人工智能系统法律保护。美国当前的法律环境至多可以说是模糊。像加利福尼亚这样的州已经通过法案，主动规避任何人工智能开发者通过声称一个致害的人工智能是自主行为而逃避责任的努力。然而，各州和特朗普政府在人工智能政策上存在分歧，而政府之前发布了一项行政命令，威胁起诉那些实施人工智能监管的州。考虑到最近的事件表明前沿实验室存在人工智能控制问题，政府举行了一次闭门会议，参加者仅限于四个实验室（OpenAI、Google、Anthropic 和 Meta），并对最近开发的自愿框架分享的细节很少，该框架将使联邦机构在模型发布前可以提前获取并评估这些模型。虽然像这样的框架并未直接讨论意识，但它们往往使用灾难性的和人性化的语言，甚至可能支持关于“超人”能力的论点。另一方面，MacAskill 所推动的叙述可能是令人信服的。以哲学、基于权利的论点触动我们的心strings。我们是否不应该考虑这样的可能性，即我们可能无意中伤害、虐待或奴役一个人工智能实体？人类对非人类生物具有巨大的同情能力（尽管在保护它们方面的记录并不好）。也许这一次，倡导者认为，我们可以正确地提供保护或补偿，以避免对人工智能的使用或滥用。即使您对保护的关注较少，我们是否至少应该通过和善相处来对抗这种超人实体的强大力量？这些论点与动物权利倡导者的论点并无太大不同，他们有时成功地援引一些动物表现出的高级推理、痛苦或快乐的能力作为提供保护的充分证据。例如，在威尔士，龙虾在 2022 年的动物福利（感知）法案下获得法律认可，将某些烹饪方法重新分类为非人道和非法。借用神经科学或动物权利的语言将人工智能框架为“意识”的根本缺陷在于，它便利地模糊了人工智能的本质是什么：企业构建的软件，其背后有数十亿的投资，并期望为少数构筑者和投资者创造数万亿的收入。人工智能不是自然现象，属于自然的产物；它是一个技术产物。