简短版 我认为我有好消息关于神经网络的本质。经过几个月对图像和语言模型中的神经元和电路的研究，我渐渐相信网络自身的机制就是其清晰的构建模块，并且关于机械可解释性的前景可能远比我之前担心的要好。说服包括我的大多数领域的多义性和叠加性的经典证据被误读了。看似的任意打包大多数是我会称之为递归泛化的主题，这要少得多令人担忧。这意味着我们可以直接研究网络，而不是先解开它们。神经网络已经是干净的。处理机械可解释性有至少两种方法。第一种是对网络本身进行快速的正常科学研究：观察网络的神经元和电路，研究它们之间的关系，观察数据如何在它们之间流动，并在智能体规模上进行实验来测试解释。第二种是从假设特征的列表开始，尝试提取所有这些特征，设计越来越复杂的重建目标，并且通常忽略原始内容。该领域最初从第一种方法开始，但由于神经网络被认为是复杂的纠结的结，就回到了第二种方法。我们有多义神经元的经典例子，这是一种看似具有多个无关任务的神经元，或者看起来几乎不可能理解的神经元。在一个图像模型中，最著名的神经元同时对猫脸和汽车前面作出反应。而早期领域的模型生物InceptionV1的最后一层似乎因为充满了任意混合，而不清楚该如何研究它：几乎没有任何神经元是容易解释的。对多义性的主要解释是叠加。这提出了一个新学习原则：当神经网络没有更多神经元可用时，它就停止将相关事物归类在一起，而是开始将无关事物组合在一起，仅仅因为它们没有相互干扰。结果是产生了一种复杂的纠缠：网络本可以以许多几乎同样好的方式进行折叠，所以下面一个神经元归类在一起的事物几乎没有任何信息。你必须先解开这个纠缠，才能研究任何东西。在实践中，这意味着训练一个第二个模型——如稀疏自编码器的分解——来近似该网络未折叠时的样子，而研究那个模型。如果网络确实是纠缠的，那么可能没有其他选择。一个主要结果是，叠加并不是InceptionV1的正确解释。架构问题导致后面的层溢出。弱可解释性工具放大了这些问题，使得晚期层看起来不连贯。从那时起，旨在帮助深层学习更好的架构改变产生了未预期的效果，使它们更具可解释性。当我们首次研究InceptionV1时，在它的最后一层几乎没有可解释的神经元。但是，通过这些普通的改进，没有改变模型的大小或训练数据，最后一层中99-100%的神经元都是容易解释的，并且模型整个过程中都是广泛清晰的。这是我觉得我大多数理解的第一个非平凡神经网络；您可以在这里浏览它。我训练了多个大小在300×范围内的版本，且在每个规模上都广泛清晰。在较小的空间中，网络不会将无关事物混合在一起；它的神经元只覆盖较粗粒度的概念，例如一个汽车神经元覆盖多种类型的汽车。在更大的空间中，该神经元区分为许多具体的汽车。因此，问题不是第二种学习原则的存在，而只是第一个原则的普通学习失败，并且容易修复。多义性和叠加性的经典视觉示例也是错误的。在2019年，Chris Olah和我找到了原本介绍为叠加现象的电路，出现在Zoom In Zoom In: An Introduction to Circuits Olah, C., Cammarata, N., Schubert, L., Goh, G., Petrov, M.和Carter, S.的2020年。Distill。我们展示了一个汽车特征似乎扩散到一组无关的狗神经元。我们展示的就是这个例子，也是我见过的唯一一个。我们把它解读为网络将汽车放在一个高维的隐藏地点，以便下游的神经元可以重新读取。但没有任何东西可以读取这个组合。它并没有隐藏任何东西；这只是普通的泛化和组合。据我所知，没有人发布第二个具有正确形状的电路。现代语言模型也远比普遍认为的更具可解释性。Anthropic的《走向单义性：用字典学习解构语言模型》 Bricken, T., Templeton, A., Batson, J.,等 (2023)，研究了一个小的一层模型，给了中位神经元0分，满分14分，意味着评审无法形成任何假设。自动化可解释性工具...