GLM 5.2 和即将到来的 AI 利润崩溃
这是一个分为两部分的系列,专注于我认为可能是对 AI 经济学最少理解的即将到来的变革。如果您喜欢这篇文章并希望收到第二篇文章的通知,请随时注册我的通讯。真正的 DeepSeek 时代已经来临,似乎已经是几十年前的事情了,市场对 DeepSeek 的 R1 模型感到震惊。理论是,鉴于基础的 V3 模型据报道训练成本低于 600 万美元,因此市场认为用于模型训练的巨额资本支出投资已经结束,因此 Nvidia 等公司的股价一夜之间崩溃。当然,这是对 AI 实际成本的一个极其错误的理解。训练尽管无疑是资本支出密集型的,但它是一个固定的、一次性的成本。你花费数亿美元来训练模型,然后你就“完成”了。[1] 另一方面,推理是随着需求扩展的。它有真正的边际成本。在过去的一年里,我对此进行了深入的探讨。同样,关于这一点的主流理解 - 提供者收取的 API 成本就是他们的真实成本,这种看法是错误的。实际上,当 Anthropic/OpenAI 对推理收费 25 美元/MTok 时,我的纸上计算表明,这可能在计算成本与标价之间有大约 90% 的毛利率。可能稍高或稍低(OpenAI 的泄露财务数据显示收入毛利率约为 60%,但无疑还包括了许多其他费用,如支持、支付处理和他们提供的其他服务),但前沿 AI 实验室的整个商业模型简而言之,就是在计算和工资上花费大量资金来训练模型,然后将这些成本摊销到非常盈利的推理中。如果您可以在足够的推理中摊销这些成本,您将会从在成本方面盈利转变为... 实际上盈利。过去几周我一直在玩 Z.ai 的 GLM5.2。我相信 GLM5.2 是首个达到真正开源权重的模型,成为 Opus 和 GPT 的竞争对手(在撰写时,GPT 的最新版本为 5.5 - 将来的模型无疑会超过这个)。它真的很好,我很难区分 Opus - 我的日常使用模型和它。我发现它由于考虑的时间过长而变得缓慢。对于非交互式的代理任务(如在后台审核 PR),这并不是问题,但在交互式使用中,它的速度确实有些太慢,无法让我保持注意力。这也在一定程度上降低了它的成本效益(更多的思考意味着更多的代币,这增加了成本)。它也没有视觉支持。有趣的是,我是如何迅速从基本上从不想使用视觉(因为它如此不准确,我通常在发现它使用视觉时暂停会话),转变为一直在使用它 - 自从 Opus 4.7 引入了更高分辨率的视觉能力。这不能读取基于图像的 PDF、截图和设计文件让我感到非常沮丧。我相信他们正在研发一种更具多模态的模型,但这是相对于前沿实验室的一个显著弱点。其次,我真的没想到会成为障碍的是缺乏/较差的网络搜索能力。事实证明,几乎每个代理会话都需要大量的网络搜索来查找项目。Z.ai 为网络搜索提供了替代的 MCP,但它非常糟糕且缓慢。Fireworks 不提供任何搜索功能,不过他们给了我一个非常模糊的回应,说他们一直在寻求改进产品。我个人看来这并不会有什么计划,但我们拭目以待。我设法通过告诉代理使用基于 CLI 的网络搜索工具如 ddgr 来绕过此问题,但这目前确实是一个真实的弱点。我对第三方网络搜索 API 的潜力充满信心。这实际上是开源权重模型提供者可以提供的一个巨大的空白,结果伟大的网络搜索能力对于许多代理任务至关重要。无论如何,随着时间的推移,这无疑会得到解决 - 有很多人在建立网络搜索索引,这只需要合适的合作伙伴关系和基础设施就可以了。直接替换 对于前沿实验室来说,最令人担忧的是迁移到开源权重模型是多么简单。Z.ai 和 Fireworks 都提供 OpenAI 兼容和 Anthropic 兼容的端点。这使得与 Claude Code 和 Codex 的使用变得绝对简单。您只需将基础 URL 指向您的推理提供者,提供 API 密钥并告知使用 GLM5.2。鉴于 Anthropic 最近宣布(然后又撤回)对 Claude -p 非交互式代理使用收取 API 费,您会发现对于许多/大多数这些用例,您可以简单地替换为 GLM。对于交互式使用,除了缺乏视觉和速度偏慢[2],我几乎不可能意识到我不是在 Claude Code 中使用 Opus。这里没有像微软或 Salesforce 的那种锁定,需要花费数年时间来计划迁移。切换成本极低,
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡