AI公司Anthropic开发了一种技术，使其能够更清楚地洞察大型语言模型在回答问题或执行任务时的真实情况。他们的发现既平常又令人不安。该公司的研究人员构建了一个名为Jacobian lens（J-lens）的工具，并用它揭示了一个隐藏区域，他们称之为J-space，位于Claude Opus 4.6内部，这是Anthropic于2月份发布的旗舰LLM的一个版本。J-space包含与模型在不久的将来最有可能在回应中说出的单词和短语相关的单个单词。如果Claude是一个人（其实它不是），你可以说这些隐藏的单词可以在它实际上说话之前揭示它的想法。Anthropic发现，LLM实际执行的内容通常与其声称正在做的内容不同。公司声称，通过监测在J-space中弹出的单词，它获得了一种新的理解和控制其模型的方法。该公司本周在其网站上发布了一篇论文，分享了其结果。它还与Neuronpedia合作，这是一个开源平台，允许用户自己深入探究LLMs，制作了一个任何人都可以尝试的动手演示。“这是非常好的、趣味盎然的工作，”Goodfire的首席科学家及联合创始人Tom McGrath说，该创业公司同样致力于建设理解和控制LLMs的工具。更深层次地说，在过去几年里，Anthropic一直在推动被称为机械可解释性的研究领域，该领域涉及探测LLMs的内部工作机制以观察其运作方式。（《麻省理工科技评论》将机械可解释性选为今年十大突破技术之一。）新技术建立在Anthropic及其他地方的前期工作之上，揭示了研究人员之前未曾见过的LLMs内部的更深层级。想象一个LLM是一本书的堆叠。每本书都是一层基本计算单元，被称为神经元，每个层中的神经元将信息传递给上层的神经元。底部的书是输入层，处理进入模型的文本。顶部的书是输出层，准备模型即将生成的文本。在这些输入层和输出层中，发生的大部分都是家务工作。但在堆叠的中间，你会看到那些负担重的层，通过复杂的数学计算将提示转换为一字一句的回应。那才是非常聪明和神秘的地方。为了更深入地窥探这些中间层，Anthropic改编了一种名为logit lens的现有工具。logit lens可用于观察LLM，以识别其可能产生的下一个单词。沿着书的堆叠向下移动透镜，可以揭示LLM在该特定时刻关注的单词。Anthropic的J-lens以类似的方式工作，但识别LLM在不久的将来可能会说出的单词，而不一定是立即。在实践中揭示的是与LLM正在处理的回应相关的单词，但这些单词未必会在中心层的数学计算结束时成为这一回应的一部分。“当一个模型在运行时，它不仅仅是试图预测下一个token，”McGrath说。“它还在计算很多其他可能对未来的token有用的东西。”再次强调，如果Claude是个人（它不是），你可以说J-lens在不同层级的书堆中提供了它在思考的线索，但并未将其大声说出。奇怪的事情“很多时候，J-space中的内容相当平常，”McGrath说，他自己尝试过Anthropic的J-lens。“但有时它会产生一些令人惊讶的东西，似乎涉及到某种内部主题或思维过程。”Anthropic给出了他们发现的许多例子。有时，J-lens揭示了Claude在解决问题时所采取的步骤。例如，当被要求计算(4+7)*2+7时，它的J-space中包含了“math”这个单词以及表示中间结果“21”（对于4+7）和“42”（对于21*2）的数字。在其他情况下，J-lens揭示了Claude如何识别不同的输入。例如，提示“这是什么？MSKGEELFTGVVPILVELDGDVNGHKFSVS”触发了“protein”、“fluor”（单词“fluorescent”中的第一个token）和“green”这几个单词。（这很有道理：这串字母代表了一种特定类型的水母中发现的绿色荧光蛋白的前30个氨基酸。）当Claude显示一个ASCII脸时——“o”触发了“eye”这个单词，“^”触发了“nose”和“face”这两个单词，而“—”触发了“smile”。Anthropic还发现，J-space有时可以提供关于LLM决策的惊人见解。在一个引人注目的例子中，研究人员在测试Claude Opus 4.6时请模型进行...