在我的日常开发工作中，我发现我的代理需要建立大量关于我设置给他们的问题的知识。他们扫描文件，搜索 API 文档，做大量的工作以便能够充分了解上下文，从而能够输出相对较少的最终标记，这些标记最终会用于实际的代码更改。这类似于开发人员阅读大量代码，构建一个非常详细的心理模型，以理解系统在做什么，然后仅编辑他们需要的文件。而（几乎）所有这些知识都消失了。我在这里写的内容（特别是这个表情包）是受到这一漫画条的启发。我认为当今世界的一个不同之处在于，不是程序员被打断，而是大多数 LLM 所做的工作在实际意义上都被遗忘了。当然，聪明的程序员通常让 LLM 自己撰写提交信息。这很好。没错……你可以在自己的机器上恢复会话。但这仍然与捕捉 LLM 拼凑的状态的完整性相去甚远。如果我想从工作中停下的地方继续，这将造成巨大的知识损失、会话可恢复性损失和效率损失。我最近读了《你无法带走的会话》（这里的 HN 讨论），这让我深有感触。在此之前，我并不是特别反对使用专有的 AI 工具来帮助我完成工作。然而，这篇文章真正提炼出代理作为黑箱的真正危害。认真想想。如此简单的事情，比如一个团队成员喜欢 Codex，而另一个团队成员使用 Claude。一个 LLM 努力构建逻辑的丰富画面。然后另一个 LLM 需要在同一代码上工作……并且完全从头开始。我无法估算这种方式烧掉的数百万个标记。‘LLM 可移植性’的整个概念对我来说听起来有点高尚，老实说。就像单一形态，或者麸质不耐症。但是，因缘巧合，我本周早些时候与一位在迪拜的科技朋友通话。他描述了巴林 AWS 数据中心的灾难。他指出的有趣之处在于，该地区的许多公司绝对无法让他们的 AI 使用在其他地区，因为……嗯……战争。因此，当某项服务的整个地区因战争而大规模中断时……突然间，LLM 可移植性变得更加真实和紧迫。我的整个团队在绝大多数情况下都在使用 Claude。我想我是那个积极尝试各种 LLM 进行比较的人，同时也在协同工作。在我提交之前，让谷歌的代理审查 Claude 的工作似乎很合适。但让 LLM 们协同工作也让我意识到，每次我启动新会话或运行“git commit”时，我都在抛弃多少上下文。现在，让我们谈谈前沿技术。如果我想让 Codex 从 Claude 开始的地方接手，因为 Claude 已经离线了？或者我想在一个我和 Claude 已经大量工作的代码库区域尝试其他模型。我真的希望能够在不重新消耗代币的情况下从我停下的地方继续工作。这个问题在更大的团队中深刻得多。代码审查者——无论是人还是其他——如何赶上代码更改背后的所有细微差别？我朋友 Philip 曾在 OpenAI 工作，他写了一篇关于在人工智能大幅超过人类能力的时代进行代码审查的有趣文章。这在这里感觉非常相关。到今天为止，提交的代码更改可以是足够微妙和足够庞大的，以至于很难审核它们。而且由于大部分上下文保留在开发者的机器上，所有这些代币烧掉的唯一残留物就是提交信息和 LLM 认为合适的代码评论。作为一个快速发展的项目的技术负责人，在 LLM 出现之前就已经很难了。现在，每个 PR 都是一个新鲜出炉的（未|半）文档复杂性包。刚刚随意编码了一大堆新隐私逻辑的初级开发者合上笔记本电脑，回家去了。与此同时，实际上了解隐私层如何工作的资深工程师不得不在没有任何上下文的情况下处理这一堆内容。他无法恢复他从未开始的会话。所以……他应该……要求他的 LLM 再次生成一遍已经生成的所有上下文，以了解上下文脱节的输出？这感觉太疯狂了。如果我今天回到一个昨天刚花费了 25 万个代币的代码区域……我真的要花费更多的几万个代币再次加载上下文窗口吗？是的……我确实是。