这份工作的关键是知道何时保持确定性，何时保持概率性。本周，我在 AGNTCon 上做了一个简短的演讲，题为“上下文失败与修复”，它充当了某种“上下文工程的现状”报告。上下文工程是如何出现的，它走到了哪里，以及未来可能会走向何方？随着模型制造者瞄准新的能力，他们无意中创造了作为用户和构建者我们必须克服的挑战。以下是幻灯片和经过轻微编辑的逐字稿。和往常一样，欢迎给我发信息反馈、想法或问题。我非常感激。大家好，感谢今天加入我。我们将讨论上下文的失败与修复。我有一本书即将出版，名为《上下文工程手册》。当我在 2025 年 6 月第一次与 O'Reilly 的团队交谈时，他们问了我一个非常合理的问题：“我们怎么知道这不会在几周内变得过时？”AI 教科书的问题在于，许多书籍老化得极其迅速。我说，我也不知道，但我很乐观。给出明确的指示，说明该做什么和不该做什么，并确保这些指示是一致且不嘈杂的，将始终是 AI 面临的挑战，无论它有多好。我们有同事、合作伙伴和其他我们认识并互动的人，他们是有意识的。他们通过了图灵测试，他们是“AGI”，然而：我们在彼此之间传达指示、想法和概念时依然很困难。上下文工程将继续是困难的。但它将以独特的方式变得困难，因为模型不是人。你可以对模型的思维或解释方式做出假设（随你喜欢使用任何拟人化的词），但理解它们是如何构建、优化和训练的则是有帮助的。它们独特的属性和构造形成了一组我们需要面对的独特失败模式。让我们回顾一下我们是如何走到这里的。让我们回溯到 2024 年底。如果你还记得，这是“RAG 已死”时刻的巅峰。希望是：只要我们能把上下文窗口做得足够大，我们就能把整个互联网放进去。我们可以把一切都放进去。我们不需要选择性。我们不需要构建智能系统。我们可以把所有的内容都放进去，AI 问题就解决了。模型构建者开始瞄准长上下文能力，并且我们从 ~128,000-token 的上下文窗口模型跃升到百万-token 的上下文窗口模型，从 Gemini 1.5 开始。如果你查看 Gemini 1.5 Pro 的推广材料，大部分都是关于百万-token 的上下文窗口。甚至还有一个 1000 万 token 的上下文窗口模型在实验室中，很快就会发布。但他们在这方面被抢先了。Llama 4 Scout 发布了一个 1000 万 token 的上下文窗口，而且，嗯，这并不是我们希望的那样。推理是个挑战，Scout 从来没有真正流行起来，我们也没有再得到另一个 Llama。但我们仍然得到了百万 tokens。这挺不错的。我们会接受的。所以当时的简报是：只需将所有内容放入上下文中，让模型自行排序。但随着更长的上下文，我们有了更多的问题。长上下文并不是万灵药。当我写到这一点时，我确定了四个关键失败模式。上下文污染是指一些不应该存在于上下文中的内容进入了上下文。它可能是幻觉或错误的事实，而模型无法摆脱它。上下文分心是指上下文变得如此冗长，以至于模型开始专注于上下文，而不是它的基本知识。我们可以以一些非常有趣的方式看到这一点。上下文混淆是指外部事实——与我正在处理的问题无关的事物——进入并以我们无法完全理解的方式影响模型。这个问题非常隐蔽。我们今天不会深入探讨，但这是我最喜欢的失败模式之一。模型对你是谁做出假设，而这些假设影响了答案。最后，上下文冲突是指工具调用、技能以及你构建者中的其他信息开始冲突，并以意想不到的方式对你产生负面影响。（你们中有多少人在 ChatGPT 或 Claude 中保持记忆开启？我把它关掉。我讨厌它。有时我在讨论工作对话；有时我在谈论与我儿子一起做的项目。模型会在两者上记录笔记，将这些上下文混淆，从而产生混淆。）让我给你一个我最喜欢的上下文污染的例子。我将给自己定一个时间：我玩过左边的那款游戏。那是一款来自 1996 年的原 Game Boy 游戏。这是第一款 Pokémon Red。它是黑白的。在 2004 年，任天堂为 Game Boy Advance 发布了 Pokémon FireRed。这两款游戏基本相同，除了一个有更好的颜色和音效。但有一个微妙的变化。在两款 Pokémon Red 中的某个时刻，为了通过一个保安，你必须给他们喝点东西。一笔贿赂。对于孩子们来说，这可真是个实用的教训。在原始游戏中，你需要给口渴的警卫饮料。