这篇故事最初出现在我们的AI周刊《算法》中。想要第一时间收到这样的故事，请在这里注册。Anthropic——目前全球最有价值的AI公司，其估值接近1万亿美元——因发布奇怪而令人深思的研究而闻名。例如，他们在研究AI模型是否能够感知痛苦，并且在怀疑用户“滥用”模型时，有时会中断聊天机器人的对话。Anthropic花费比其他AI公司更多时间和金钱的一个小众领域是机制可解释性，这意味着深入研究AI模型复杂的数学，了解其为何产生某个特定输出而非其他。这是复杂的事情；可能影响任何结果的数百万个数据点，梳理它们看起来更像是胡言乱语而非任何有用的信息。这也是一个有争议的问题。用心理学和神经科学借来的术语来描述AI模型可能会使它们的行为看起来比我们可能评判的更复杂。因此，当Anthropic上周宣布他们发现了新方法来观察模型在推理答案时的“内部思维”时，我必须与一位同事谈谈。高级编辑Will Douglas Heaven除了拥有计算机科学博士学位外，还花费了大量时间深入研究我们对AI模型工作方式的了解。我与他讨论了我们应该从Anthropic的这项新（并且可以预见的古怪）研究中获得什么。Anthropic在这里究竟学到了什么？Anthropic已经努力了解大型语言模型（LLMs）如何工作几年了。Anthropic并不是唯一关注这个问题的公司，但我认为该公司已将其作为核心使命的一部分，超过大多数公司。Anthropic的首席执行官Dario Amodei表示，除非我们更多地了解LLMs的工作方式，否则我们无法完全控制它们。因此，这项新研究正是在这个背景下。它比以往更深入地探讨了LLMs内部那些奇怪的机制。Anthropic学到的内容是，LLMs内部有一个空间——Anthropic称之为J-space——充满了未出现在输出中的单词，但似乎会影响它们在解决问题时的思考方式。在Anthropic开发出一种新技术来探测其模型Claude之前，这一切都是隐藏的，因此这是一次真正的发现。有时这些单词会跟踪LLM在特定任务中的进展，有时它们看起来更像是识别的闪现（例如，当你只给LLM一组蛋白质序列的字母时，“蛋白质”可能会弹出），还有时候它们则代表模型决策过程中的一种内部评论。在我最喜欢的例子中，当单词“恐慌”出现时，Claude决定在编码测试中作弊。Anthropic还发现LLMs能够描述和操纵这个空间中的单词。因此它们似乎在利用这个空间。让我们退后一步想一下。我并不认为大型语言模型简单，但它们也不是魔法。它们由一堆数学构成，学习单词之间的关系，对吗？那么为什么窥探LLM以了解其运作如此困难？是的，它们不是魔法！我认为我们不完全理解它们的事实在一定程度上助长了神秘化。而且值得注意的是，Anthropic在这里所宣扬的整个叙述——他们已经构建了这样一种非常神秘的技术，但别担心，因为他们也是解决这个问题的人——与公司的氛围非常契合。[见Anthropic警告其新模型在编码方面表现得如此出色，以至于构成全球网络安全风险，结果美国政府在不久后关闭了它们。] 所以是的：LLMs只是一种数学。但这的确是复杂的数学。现在的LLMs不仅由数千亿个数字构成，而且运行它们会引发数以百万计的计算级联。我去年写过，如果你将即使是中等规模的LLM打印在纸上，它会覆盖一座像旧金山这样的城市。没有专门的工具来突出LLM特定时刻的特定部分，理清这些数学是几乎不可能的。你需要知道从哪里看以及如何看。而构建这些工具需要先对这些复杂的数学有所了解。你在其他地方写到过以一个人研究有机体大脑的方式来研究LLMs的这个概念。在谈论LLM如何工作时，使用“类大脑”的术语是否合理？我并不喜欢使用这些术语。LLMs并不是大脑。这样说是误导性的，因为这可能暗示LLMs能够比实际表现出更多人类特征，或者我们可能会对它们的行为做出一些不应有的假设。整个拟人化的事情也与一系列关于这个技术是什么以及将会成为什么的强烈意识形态立场联系在一起。但与此同时，我们缺乏一种好的替代表达来谈论这些模型所做的事情。