免责声明：您即将阅读大量观点，其中许多有参考资料，但有些是我在过去四年中使用和构建AI系统的个人经验的结果。不管怎样，请警惕稻草人逻辑：仅仅因为一个论点与您的信念体系不符，并不意味着其他论点都无效。我还要事先说明，我并不是反对人工智能。如果您一直关注我的工作，您会知道我不仅早期采用了LLM驱动的编码工具，还在构建自己的工具、教授这些主题并构建LLM驱动的产品。这并不是对人工智能的恐惧，而是挑战那个认为“编码已经解决”并且工程只是关于“品味”的脑残叙述。更新：有人把这个放在了Hackernews上。告诉我，就不可以用字面上的话来说不理解软件!!! 声称“LLM能够写出不错代码”的人并不理解代码是如何运作的。确实，创作的成本更低，但任何在生产规模上运行软件的人都知道维护、可靠性、安全性、可扩展性等等是大多数成本。这些通常被称为NFR（非功能性需求）。根据我的经验，即使是功能需求（代码应该做什么）也还不是一个已解决的问题。有一种达克效应在这里起作用，那些不阅读输出的人对它更有信心。作为一名拥有两个工程学位的资深开发者（硬件和系统工程），我可以列出三种不严格要求阅读代码的产品：个人软件：解决特定问题、自动化、DIY补丁等。POC（概念验证）：展示技术可行性和产品生存性武器化的AI：承认风险并故意将其指向目标以造成伤害注意它们的共同点：前两种有较高的风险容忍度，而最后一种则武器化了固有的风险。需要雇用和支付软件工程师的大多数软件都有低风险容忍度：✅ 医疗保健 ✅ 金融 ✅ 汽车 ✅ 国防 ✅ 发电厂 ✅ 航空 ✅ 制造……在任何错误可能导致金钱、生命或法律后果的地方，您都需要问责。人工智能不能被追究责任。它承受不起任何后果。你能对AI做的最坏的事情就是拔掉它的电源。尽管它模仿人类情感（由于训练数据），但它根本不关心。AI也不会死。它不能承受监禁或罚款。您无法惩罚AI，因此它永远不能被追究责任。您也无法对您无法控制的事情负责。这种理解是推理系统行为和修复AI不可避免失败时的关键。如果您在玩弄，LLM表现得很好。这就是为什么“编码已经解决”的叙述中一些最激进的支持者没有任何实质性的展示。Anthropic意外泄露了Claude Code（经过进一步研究发现存在许多缺陷），他们的状态页面显示橙色是新的绿色！与常见叙述相反，编码实际上是当前一代LLM最后一个要接管的领域之一！！！请允许我详细说明：编码是关于逻辑的。任何处理过编译器错误的人都知道，计算机根本不关心你有多正确。如果逻辑上错误，它就不会编译。即使语法是正确的，也可能会有运行时错误。LLM能够成功编写代码的原因是我们建立了一个反馈循环，将语法/运行时错误反馈给LLM，并循环直到大多数错误被解决或隐藏。LLM可以处理与自然语言相关的任务（例如，撰写社交媒体帖子、报告、文章等），但当涉及到代码时，同一引擎在处理“Raspberry”中R的数量时挣扎，或建议走去洗车店时，也暴露了其他逻辑谬误。LLM是随机且概率性的。我们唯一能让它们变得近乎逻辑的方法是将它们封装在传统代码中（称为工具），进行测试，以及其他许多技术（例如，CoT），但核心问题依然存在：LLM在逻辑和量上面临挑战（输入越大，使用的上下文窗口越多，准确性就越低）。我并不是说LLM不能生成代码或维护现有代码库。它们作为工具是有用的，且其能力正在以S曲线增长。在投资回报递减的点上，更昂贵的模型不一定在价格上涨的速率下更具生产力。我的帖子中没有人工智能。我实际上在白板上为这个帖子画了草图，仅仅是为了解释：我们擅长发现视觉模式的不匹配，但当涉及到代码时，即使是资深开发者也可能一眼就错过问题。那些声称LLM生成的软件足够好的人：❌ 很久没写代码 ❌ 无法发现他们的代码字面上有6根手指! ❌ 对什么是好的有低标准 ❌ 不关心质量或NFR ❌ 理解困难