Anthropic的可表述工作区论文展示了在一个封闭模型家族上，模型的中间层携带了一个方向字典，以因果方式引导其输出。它留下了自然的下一个未解问题：这种引导的时间跨度有多远，结构在训练过程中何时形成，是否在模型之间转移，以及其扩展性。我们在开放模型上测量了这四个方面，然后再进行两次后续实验，应对测试结果带来的新问题。下面的每一个数字都从已提交的结果文件中重新推导出来，每个图表都是互动的。来自Elie的消息：好吧，除了这条信息，其他内容都是“氛围编码”的。当阅读Anthropic的论文时，我对这个“J空间”的行为有一些想法，我很好奇。我要求Fable与我一起进行头脑风暴，也让它建议一些有趣的实验。然后，我允许它在我们的集群上几乎自主地运行实验。我不是这个领域的专家，实验设计和我的想法对于那些专家来说可能完全没道理。如果我必须自己完成所有事情，顺便说一句，我绝对没有时间进行那些实验，甚至不会想到去做。尽管如此，我确实花了一些时间去理解结果，并与代理互动讨论一些实验设计和可视化。为什么采用这个格式：我的目标是分享结果，而不是花费几天时间在上面。我现在通过代理阅读大部分论文和博客（除了那些写得非常好的），询问问题并查看图表。我不是一个伟大的写作者，对这个主题也不是完全了解，所以干净的博客会耗费我一段时间 + 我不确定输出会更好。如何阅读：文章：由Fable撰写，我与其反复讨论以去掉一些冗余，改进可视化（推荐）：只看图形。您可以请您最喜欢的代理解释它们并思考结果。llm.txt是一个应该更适合代理的版本，包含每个图形的数据和您可以复制粘贴到代理中的提示。解释技术/研究主题的方法：以直觉开头，然后用小的工作数字和例子使其具体。要可视化——使用ASCII图示、并排表和统一的“骨架”，将竞争方法放在同一符号下，以便差异突现。所有数学运算都应可在终端阅读（ASCII/Unicode，如1/√L，Σ，α——永远不要使用LaTeX $...$）。定义每个符号和指标；解压压缩的想法，而不是假设它们。保持文字简洁明了——没有冗余。我在这篇博客的图表中看到的内容，想请你回顾一下主要发现并回答我的问题。博客llm.txt: https://eliebak.com/viz/jspace-open-v2-llm.txt 数据的GitHub仓库: https://github.com/eliebak/open-jlens-data Anthropic论文: https://transformer-circuits.pub/2026/workspace/index.html 开放模型的jlens示例: https://huggingface.co/neuronpedia/jacobian-lens 测量：推一层，观察什么到达输出。此页面上的所有内容均来自一次测量。拿一个模型读取文本，轻推其残差流在层ℓ，并记录最终层——决定下一个标记的层——如何响应。对多个位置和提示进行平均，该响应是矩阵 J ℓ：层对输出的典型影响。图1 从轻推到两个数字 J-lens管道。所有下游操作均基于 V ℓ。乘以解嵌入使影响具体化。每个4096个常见标记都有一个向量：在层ℓ推动该标记概率上升的方向。这些在字面意义上是引导向量——注入一个，模型就会说这个标记，这正是E3所利用的。总的来说，4096个向量构成了该层的字典。两个数字总结一个字典。第一个是CKA（中心核对齐），它询问两个字典是否在无法比较坐标的情况下具有相同的形状。配方：中心化字典的向量，然后建立其关系表 K = VV T——一个4096 × 4096的网格，其单元格(i, j)记录条目i沿条目j指向的强度。该表是无坐标的：旋转整个字典，单元格不会变化。CKA只是两个此类表之间的余弦，即CKA(A, B) = ⟨K A , K B ⟩ / ‖K A ‖ ‖K B ‖——当几何体相同时为1.0，与无关的随机表近似为零。为了校准：同一模型的两个独立拟合分数约为0.997，而在匹配深度下比较的两个不同训练模型则在0.5–0.7之间。图2 如何计算CKA 六个玩具条目，两个模型。旋转会改变每个坐标，而不是一个关系，因此两个表变得相同。在模型的每一层之间计算的同样数字绘制了一个可见区块图——一个输入侧的区块，读取，长的中间区块（论文的“工作区”），以及一个小的输出侧区块，写入。图3 模型层间协议 CKA之间的字典每对qwen3-1.7b层。悬停