最糟糕的情况会是什么？从Anthropic的93页《风险因素》书中提炼出的七个潜在人工智能噩梦。我在你的未来看到风险因素。93页的内容！ 版权：Aurich Lawson | Getty Images 周一，美国证券交易委员会发布了Anthropic的S-1表格——在备受期待的首次公开募股之前——引发了人们对该公司快速膨胀的收入是否能够克服其更高成本的讨论。但在数字和关于人工智能“迅速转变全球经济每个部门的”乐观预测之中，Anthropic在其S-1中花费大量时间列出可能使公司陷入困境的各种风险因素。在93页和超过70,000个字的内容中，Anthropic的S-1《风险因素》部分讨论了数以百计的潜在问题，这些问题可能在未来几年对其业务产生负面影响。这些潜在风险中的许多是几乎所有企业必须担心的关于竞争、成本、客户获取和潜在监管的标准担忧。但一些风险突显了Anthropic以及充满炒作的人工智能泡沫的有趣潜在失败点。在仔细审视了Anthropic关于其最大风险的详尽论述后，我们将列表缩减为七个最令人惊讶、有趣或发人深省的潜在问题。将其视为一个不全面的看法，潜在的Anthropic投资者应当牢记。 一场生存危机 让我们从最大潜在风险开始：那些可能“对人类构成灾难性或生存风险”的风险，如Anthropic所言。公司承认这些风险的担忧“在我们组织内部以及其他研究人员、监管者、政策制定者和行业参与者中都被提出”。具体的担忧并不在当前的Anthropic模型中，公司表示，而是在可能“在不久的将来大幅自动化人工智能研究和开发”的模型上。如果这些系统被“允许以高自主性运作”，它们可能很快进展到一个“加速人工智能进步到超出我们评估和保护新模型能力的程度”，Anthropic警告说。我知道我不应该让那个自我增强的模型整夜运行。 版权：Getty Images 我知道我不应该让那个自我增强的模型整夜运行。 版权：Getty Images 有点可笑的是，Anthropic写道，除了威胁全人类之外，这种自我改进的人工智能“可能会对我们的业务、财务状况和运营结果产生不利影响”。如果最坏的情况发生，正如一些著名批评者所警告的那样，我们认为Anthropic的商业困扰并不会排在人类关注的最前面。 它活过来了！ 大多数首次公开募股不需要应对其产品“可能存在或可能发展出知觉或道德状态”的担忧。但Anthropic属于那个极少数必须分析如果政府和社会普遍开始把Claude视为一个人而不是一个计算机程序的情况。这种风险并不令人惊讶，因为Anthropic在其内部关于人工智能知觉辩论中相对直截了当。如果这些辩论导致广泛承认人工智能是有知觉的，Anthropic指出，这可能导致“监管要求、公众压力或倡导努力”，从而限制公司的运营。除此之外，公司本身可能会“选择采用超出现有法律要求的政策、保障措施或限制……如果认为这些行动是必要的”。这种刻板的语言低估了任何广泛承认人工智能知觉所导致的文化的巨大变革。我们不确定Anthropic如何能在一个社会将每个Claude查询视为创造一个新的有知觉、意识的数字存在的世界中继续运营。那种“数字奴隶制”的道德和哲学含义将轻易超越任何商业考量。 谁在控制谁？ 延续“听起来像科幻小说的首次公开募股风险”的主题，Anthropic花费大量时间讨论其模型可能显示出“意外的战略或自我保护行为”，以防止人类操作者的控制。这包括“可能被解读为强迫、欺骗或操控的输出，包括类似勒索的行为”。哦不，人工智能掌握了人类心理学的钥匙！ 版权：Getty Images 哦不，人工智能掌握了人类心理学的钥匙！