返回

文章详情

下一时代的人工智能为何关注基础设施,而不仅仅是模型

Hacker News2026年7月9日 14:50

专家意见:模型是简单的部分 - 如何获取和保持价值 以下是我对于企业人工智能演变的看法:2022年秋,全球认为即将进入衰退。2023年的IT预算被冻结。2022年11月30日:ChatGPT推出,C级高管的非技术性部分与人工智能有了切实的互动点 - 一个在线的简单聊天界面。首席执行官、首席财务官、首席营收官回家度假,惊叹于早期的生成型人工智能 - 让Taylor Swift像Eminem一样说唱,总结电子邮件,聊旅行计划。印象深刻,他们在2023年只为生成型人工智能的宠物项目解锁IT预算。2023年:宠物项目、实验。唯一的新预算在于生成型人工智能,因此所有IT团队都集中在这一领域。2024年:大规模裁减90%的生成型人工智能宠物项目,因为它们没有前景,而那10%正在进行治理风险合规(GRC)以便部署。2025年:应用程序进入生产阶段,具有不同程度的保护措施、成本追踪和投资回报率 (ROI) 衡量。(此外,代理编码在2025年底成为现实,因此产品部署的速度增加。)2026年:生成型人工智能的内部和外部生产使用激增。年度预算在几个月或更短的时间内被消耗殆尽。关于系统和数据所有权的担忧随着主权人工智能讨论和政府参与前沿实验室的增加而加剧。简单来说,我们已经从“我们应该尝试人工智能吗?”转变为“为什么还没有投入生产?”再到“投资回报率是多少,我的天,那花了多少钱?”,还有“我的数据去哪了?”这完全是不同的讨论!实验是便宜的:创建一个API密钥,看看会发生什么,然后继续前进。生产则不同。您需要可靠性、审计能力以及大规模的成本控制。您可能需要在地理位置、内部计算能力和拥有您自己模型的能力上施加严格限制。这就是我们建立Otari的原因。并不是因为模型不够好 - 事实上,恰恰相反,很多模型在许多任务上都已经足够好。但是,尚未存在在组织层面管理它们的基础设施。我们正在构建它。 过去两年发生了什么变化 一个有争议的观点:最重要的变化并不是模型能力。模型的确显著改进,尤其是开源和开放权重的模型。但真正的变化是采用速度。人工智能的生产使用从少数资源充足的科技公司扩大到了每个行业的数千个团队。随着这一变化,出现了无人完全预见的问题。首先:碎片化。大多数团队并不是仅使用一个模型 - 他们使用几十个。从高层来看,这可能是用于文本摘要的GPT版本、用于编码的Claude、以及用于某些敏感内容的本地开放权重模型。但即便他们是“OpenAI商店”,他们仍然会有团队使用GPT-5.5、-5.4、-5.4-mini、-5.4-nano,以及自部署以来没有被触及的遗留模型。每个模型都有其自己的API、定价、延迟配置和速率限制。这看似灵活,实际上却迅速演变成操作上的混乱。第二:成本不透明。人工智能推理的规模是非线性的。在测试中一个功能的费用可能是每月200美元,但如果使用发生变化,它在生产中的成本可能达到每月20,000美元。随着即将到来的前沿实验室的首次公开募股,代币的“风险投资补贴”将被取消,代币的真实成本变得不那么透明,这变得愈发重要。大多数团队在收到发票之前并不知道自己需承担多少责任。没有跨供应商的本地工具可以在为时已晚之前揭示这一点。第三:治理缺口。当人工智能进入受监管行业时 - 比如金融、医疗、法律和教育 - “哪个模型在何时对谁说了什么,为什么”成为合规要求。全球范围内关于主权人工智能的讨论则增加了这些要求的复杂性。当前的基础设施对此没有答案。 管理多个供应商的挑战 以下是多供应商复杂性在实践中的实际表现。一个产品团队正在连接三个或四个不同的模型提供商,每个提供商都有多个模型 - 同时他们还在连接临时的本地解决方案。他们为故障构建了自定义的故障转移逻辑。他们还在跟踪成本的电子表格中记录。工程师们根据直觉和不完全的数据手动调整哪个模型处理哪种请求类型。这不是可持续的架构。问题不在于团队做错了什么。工具尚未跟上。随着云计算的成熟,组织停止手动管理服务器,并采用抽象复杂性的平台。我们与人工智能正处在同样的拐点。模型是计算能力。控制层缺失,正是缺乏这一部分。成本可视化是一个首要问题 成本作为一种战略问题被低估,尽管这种情况在2026年开始发生变化,因为组织开始意识到“代币最大化”正在以可疑的回报燃烧资本。也就是说,大多数将人工智能基础设施视为成本中心的组织思维方式是错误的。真正的问题在于......

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡