我的冒名顶替症候群在今天表现为，作为一名软件工程师意味着什么。互联网上关于代理工程、可以实现的事情以及其对未来的影响的信息噪声大于有用信号。我所选择的标题恰好揭示了这一点；这涉及到在解决软件和系统开发的难题时，仔细选择你需要选择的所有东西。在“主要模型提供者”营销的炒作和上瘾般的热情之外，我发现了一个非常有趣的强大工具，结合了代理和模型。我一直在关注朋友们如何使用这些工具，并学到了很多。像往常一样，那些做出一些最惊人事情的人并不是那些在社交媒体上高声叫嚷或发布关于这个职业结束的叙述的人。他们找到了一根“巨大的棍子”，正在探索杠杆点，他们正好像古希腊科学家阿基米德一样依靠这个杠杆，推动世界。在过去的一年中，代理挂具跨越了“能否实现”的边界。（是的，跳到了罗马的隐喻）。我不希望世界的知识在没有许可和考虑的情况下被获取，或者疯子们深入到经济自利的行为中掩盖了正在下滑的美国经济。我看到的报告表明，大模型的经济模型并不可行，但能力并没有消失。相反，它正在迅速缩小（快速！）。开放权重模型正在使（强大）个人电脑能够做到同样的事情。它们虽然没有那么有效，但时间和能力上的差距并不大。“能否实现”只是开始，根本还没有接近软件或系统工程师职业的主流。这就像我在20岁时学焊接时那样——我迅速创造了一些无法举起，甚至无法从店铺门口搬出的东西。（多亏了乙炔灯）。我当时学习到的，和我现在学到的相同的教训，只是媒介不同：事物拼凑在一起的方式才是最重要的。如果你使用代理挂具进行开发，并且稍加预见，你不仅可以实现“它工作”，还能实现“它是可测试的”（我非常倾向于“使用红/绿 TDD 来开发”这一提示）。但在此之上并不太稳固。代码的缝隙——它的工作方式、其“API”，以及它如何与其他软件契合——既是一门艺术，也是一门科学。它由依赖于你观点的主观衡量标准构成（以及你的经验和猜测），不仅包涵你现在所解决的问题，也包括你如何在长时间内与该软件共处。使软件可调试、可维护、分层且可组合——这依然是一个相当大的挑战。相当多的工作需要深入、深思熟虑的推理。而今天的 LLM，甚至是前沿模型的“能力”，在这方面都显得不够。了解 LLM 不会“推理”是有帮助的。它们进行预测，模型本身实际上是人类知识的压缩体。所以，如果它在编码的人类知识中，它可以反映出人类的推理。对于专注于软件开发的代理而言，这些推理痕迹是模型的珍贵数据。有一篇非常易读的研究论文，名为《思维的错觉》，探讨了 LLM 在推理方面的缺陷。我正在关注的一些研究包括对行动结果的预测，但这并不是我们今天的编码代理所拥有的。这是一个非常不同且引人入胜的研究领域。如果你想探索，可以深入研究“JEPA 模型”、“LeWorld 模型”，以及 Yann LeCun 最近的演讲。不过在你与 LLM 一起工作时，仍然有许多方法可以使它们更加有效。我认为我们尚未充分挖掘出许多进展。我今天看到的大多数成功案例涉及在合适的时间为其提供优质、简练的数据，并提供可确定的验证工具，配以 LLM 可以用来自我校正的自然语言反馈。令我惊讶的不是它能够预测要写什么，而是它在调用工具和遵循指令方面的有效性。这种遵循指令的另一个缺点是西蒙·威利森提及的致命三重奏。基本上——LLM 模型无法区分好的建议和坏的建议。它们在根本上无法始终如一地防止提示注入攻击。“对齐工作”、安全挂具和沙盒都能够帮助增加对最坏情况的防范，但仍然存在根本性的缺陷。坦率地说，对于我来说，那些毫无推理能力而又不知疲倦地遵循指令的东西简直就是噩梦。在我理想的未来中，这些将包括更多有关构建具有清晰接口、可调试和可维护的软件的内容，作为强化评估的重要组成部分。