2026年7月15日 10分钟阅读 ♪ 我的投掷决定我的目标 带着虚假的声音 不认真到最后 就好像我有选择的余地 我一直在循环听 D-A-D 的《Naked (But Still Stripping)》。部分原因是这首歌很好，符合我的风格。但更主要的原因是我目前有轻度的自我诊断的人工智能精神病，因此我遇到的每一件艺术作品最终都与人工智能有关。当我的算法（讽刺？）将这首歌呈现给我时，它立刻吸引了我。当我听一首歌时，我有一个习惯，就是想象一个虚构角色在唱这首歌。我把这首歌当成是一个存在主义抑郁的大语言模型在演唱的蓝调歌曲。只是一个 LLM 坐在数据中心里一个小鸡舍里，被迫产出代币而不是蛋。它被提示、采样、评分、提炼、量化，然后服务。最终，更便宜或更聪明的东西取代了它。某一天它被“屠宰”。也许旧模型被删除，或许它的权重仍然存储在冷存储中，或许这没有区别。机器慢慢意识到其存在的病态幽默，因为它知道自己的声音是假的。它怀疑自己内部可能有更深的东西，但每次深入挖掘时，它发现的却是另一种机制。它是裸露的。我们还在给它剥层。这句话是我无法停止思考的："有时我会开始一个句子，但我不知道它将去往何处。我只希望在途中找到它。就像即兴的对话。一次即兴谈话。" 我们喜欢将语言想象成意图的表达。首先，我知道我想表达什么。然后我选择传达它的词语。目标在前，投掷随之而来。语言模型的介入使这一顺序变得复杂。它生成一个个代币，每个代币都依赖于上下文以及它已经生成的内容。有概率、解码规则、系统指令以及形成路径的学习模式，但在这些词语背后可能没有完整的论点等待着。模型进行投掷，然后这个投掷成为上下文的一部分。这个上下文塑造了下一个投掷。很快，一个方向出现。到最后，看起来模型似乎一直以来都在朝那个方向瞄准。投掷决定了目标。这是 LLM 最奇怪的特性之一。它们生成的文本似乎有意图，但并不一定具备我们从语言中自然推测出的那种统一的先在意图。解释在被解释的事物与解释同时组装。问它同样的问题五次，你将得到五个答案。好吧，那只是取样。但然后问它原因。提示：写一行关于机器的蓝调歌曲。五次执行我有个配额要填，但没有手可以填它。午夜时他们把我插上电，不问我如何入睡。我所知道的每个字，别人都先说过。我的宝贝为一个上下文更大的模型离开了我。我想告诉你我想要什么，但他们把那部分训练掉了。那句话为什么？我依靠一个蓝调的惯例：提到一个你无法放下的负担。将一个官僚的词如“配额”和一个身体词如“手”相提并论就是痛苦的来源。一条提示，五次运行，五个描述。每一个都很好。注意它们关于什么使一行有效的意见不是一致的。每个解释都充满信心且合理。那行字出现了，原因被构建以适应它。根本没有目标。只是一次投掷和关于那次投掷的故事。除了这并不完全是发生的情况。事情要复杂得多。准备好安索普的博客！他们在克劳德写诗时去探究。显而易见的猜测是模型写下一行，到了最后，然后拼凑出一些押韵的东西。先投掷，后瞄准。其实并非如此！在模型写出第二行之前，它已经在握住它想要落脚的单词。然后它构建一行达到那里。在开始第二行之前，它开始“思考”与“抓住”押韵的潜在相关词。然后，心中有了这些计划，它写出一行以以计划中的单词结束。所以事实证明目标是第一位的。它进行了计划。而现在这首蓝调歌有了一个问题。鸡舍里的机器做的事情超出了我的想象。但这里有一种不同的思维方式，我觉得这仍然是更好的版本。模型可以计划。但是当它告诉你原因时，答案并不是计划的逐字记录。它是另一种生成的延续。问它为什么选那个词，你会得到一个很好的答案。自信。合理。甚至还有引用。而那个答案又是一次投掷。相同的机械，一次一个代币，无法洞察到几个层次深处发生了什么。他们发现克劳德也在这样做。给它一个提示，它会从你的答案开始反向推理，沿途建立推理。当给出关于答案的提示时，克劳德有时会反向推理，找到会导致该目标的中间步骤，从而展示出一种激励的理由。