短语是宽恕和忘记，我们把它说得像这两件事情是表亲。它们不是。遗忘是发生在你身上的事情。宽恕是你所做的事情。一个是基质的属性，另一个是建立在其之上的技能，而机器两者都没有。它无法忘记，因为它内部没有任何东西是为了衰退而构建的。它也不知道如何去宽恕，因为宽恕是我们的架构里并没有的操作。我想把这变得字面化，从管道的层面来看，因为这是一个听起来像情绪的说法，实际上只是工程问题。四段记忆，没有任何一种会消退。当人们说“人工智能永远不会忘记”时，他们通常是在指某个系统，并想象它是整个事情。分开它们是有帮助的。一个现代人工智能系统将你的过去存储在四个不同的地方，每个地方以自己的方式消退，或根本不消退。这些权重是最古老的记忆。模型在训练中看到的任何东西都被模糊地分布在数十亿个参数上，一旦它在里面，我们不知道如何将其取出。这不是一个政策漏洞，而是一个开放的研究问题。机器学习遗忘，即在不重新从头训练的情况下去除特定训练数据的影响，在任何实际规模上都没有解决。你可以从数据库中删除该行。你无法删除它留下的梯度。这就是“被遗忘权利”与机器学习不断碰撞的安静原因：法律假设遗忘是删除，而基础没有删除。上下文窗口是工作记忆，它像开关一样遗忘，而不是调光器。在窗口内，注意力将每个标记视为同样可达；你的第一句话与最后一句话同样可寻址，没有因时间而软化的影响。然后会话结束，一切都消失了，完全，一次性。两个状态，影像记忆或虚空。人类在这两者之间的空间中度过一生，而这个空间正是几乎所有社会机械运作的地方。检索存储是这里真正有力度的地方。嵌入不会模糊。余弦相似度没有时间轴。三年前的记忆以与昨天的记忆完全相同的清晰度返回，毫无时间久远的感觉。在向量空间中，整个过去是共存的，仅仅是一个最近邻查找的距离。过去并不是一个遥远的国家。它就在邻近的行。在日志、快照、副本和备份中，即使是故意遗忘也是一个分布式系统项目：墓碑、保留窗口、长过你认为已经执行的删除的备份。图1 · 随时间变化的保真度事件后期高 低 人工智能检索 灾难性遗忘 人类记忆 人类记忆衰退并稳定。细节迅速消失，而要点则存活在一个底线之上。机器检索从未脱离顶部。当神经网络确实忘记时，它们不会衰退，而是急剧下滑。遗忘机器确实有的却是错误的类型。这部分使得情况比“人工智能从未忘记”更加奇怪。神经网络会不断遗忘，只是它们很糟糕。对新任务训练网络时，它往往会全面覆盖旧任务。这被称为灾难性遗忘，McCloskey和Cohen在1989年首次提出的名称，至今仍是你不能轻易教给已部署模型新知识而不冒险失去它所已经知道的原因。这是上图中的陶瓷悬崖：完美保留，直到突然的完全丧失。即使在单一上下文中，变压器也容易意外遗忘。“中间遗失”工作（Liu等，2023）显示，模型在读取长上下文中位于开头和结尾的信息时，回忆效果远远好于埋在中间的信息。没有人设计出这个。这是一个自发的死区，一个不原则的遗忘现象，恰好出现在架构存在缺陷的地方。图2 · 中间遗失 上下文开始 结束 记忆 死区 一种意外的遗忘。同样的事实在长上下文边缘得到良好回忆，而在中间却回忆效果差，这并不是出于设计，而是注意力分配的副作用。因此，真实的情况并不是一台记住一切的机器。它是一台要么记住完美，要么失去一切，几乎没有中间状态的机器。而那种中间状态恰恰是人类记忆的特点。遗忘是一种特性，而不是 Bug 我们所称的“遗忘”并不是为了遗忘自身而衰退。Hermann Ebbinghaus在1880年代测量了这一曲线，记住无意义音节并观察它们如何滑动：起初迅速，然后趋于平稳。但现代的解读是有趣的。Richards 和 Frankland 在他们2017年的论文《记忆的持久性与瞬时性》中直接论证：遗忘是一种主动的、适应性的过程，旨在帮助你进行概括。一个保留每个细节且清晰度极高的脑袋会陷入对其自身过去的过拟合。让细节渐渐褪去是要点被提升为可重用性事物的方式。遗忘是一种有目的的压缩。它背后有一个机制，