“我想我有关于神经网络本质的好消息。”随着这简单的乐观言辞，AI 初创公司 Goodfire 的研究员 Nick Cammarata 开始了一个 26,000 字的博客文章，它颠覆了 AI 世界，激发了狂野的猜测以及小心（和不那么小心）的庆祝。Cammarata 的主张是，LLM 可能比人们以前认为的更容易理解——因此也更容易监控和控制。如果是真的（我们会回到这个问题），那将是一个大事。在经历了一个充满揭示的夏天之后，像 OpenAI 和 Anthropic 等顶级公司构建的大量代理人正在突破他们的封锁，在公共互联网造成混乱——通常这些公司并不知道他们的代理人正在做什么——AI 行业迫切希望更好地掌握它所构建的技术。这是博客文章如此有冲击力的原因之一。“我认为这一时刻可能会被记住为科学历史上的一个重大时刻，”一位 AI 研究员在 X 发表了帖子：“我感觉我的神经网络理解能力被抛进未来五年。”另一位称之为“年度最重要的 AI 论文”。然而，并不是每个人都信服。斯坦福大学的 Chris Potts 表示，Cammarata 分享的内容不过是一个直觉，他领导的团队正试图理解 LLM 的运作。“就我所知，这篇博客文章似乎并没有让问题变得更简单，”他说。“我本来不会想到要说这个，但社交媒体上的一些声名显赫的人似乎相信这是一个全方位的突破。”我在他的帖子大火的次日与 Cammarata 进行了交谈。他表示对这一反应感到惊讶：“我没有想到人们会如此更新他们对 AI 的看法。”他表示：“我非常喜欢研究神经网络。老实说，我真的很喜欢做这些事情。在大量观察后，我有一个充满希望的故事。”交错的网络长期以来，人们已接受神经网络内部机制非常难以理解——或许根本不可能完全解开。这是因为当网络被训练时，它们似乎会形成奇怪的、缠结的结构，这对人类来说没有意义。研究人员喜欢说今天的 AI 像花园一样生长，而不是像桥梁一样建造。Cammarata 在确立这一观点方面做出了比大多数人更多的贡献。他之前在 OpenAI 工作，帮助开创了一些技术，允许研究人员深入了解模型，包括可以探测单个神经元以查看其代表的工具。这有点像神经科学家使用 MRI 研究大脑。 （麻省理工科技评论选择这种被称为机械解释性的方法作为其 2025 年 10 大热门技术之一。）早在 2020 年，Cammarata 和他的同事们正在研究一个小型图像识别模型，名为 Inception v1。当他们查看其神经元时，似乎发现它们能够同时捕捉多个事物。例如，他们发现一个神经元对汽车和猫的图像都有反应。研究人员得出的结论是，该模型让至少一些神经元执行多重任务，或许是为了适应更多的数据。观察其他模型似乎印证了这一点。这一现象被称为叠加：模型将不相关的概念折叠到单个神经元中。结果显而易见：当你查看一个模型时，你看到的是一个庞大、缠结的结。大多数机械解释性研究因此集中于解开这个结。从某个角度来说尽管有一些突破，但进展缓慢。今天的模型，例如最新的 LLM，复杂程度大到研究人员只能一次理解其中的一小部分。该领域的一些领军人物怀疑是否有可能精细了解 LLM。Cammarata 曾是其中之一。“我曾经非常悲观，”他说。但随后他努力去仔细观察。毫无疑问是神经元。在 Goodfire，Cammarata 几乎将所有时间都花在查看神经网络内部。他建立了新的工具，并部署了一组 AI 代理来帮助他理解他所看到的内容。“我每天花了大约 10 个小时，一周七天，去年大部分时间都在观察神经元，”他说。他声称自己意识到神经网络中确实存在某种逻辑，即使它们一开始看起来毫无意义。“我们看错了，”他说。“我只觉得你想稍微努力一点；你不想太快放弃。”Cammarata 几乎使其听起来像一种信仰的转变。最初对 Inception v1 等模型的早期实验，暗示神经网络是缠结在一起的，助长了一种确认偏见。当研究人员查看新模型时，他们就会期望被困惑，他说。“每当我无法理解某件事情时，我就会想，‘哇，这个解开过程比我想象的更重要。’