模型路由是解决人工智能过度支出的一个方法。这对OpenAI和Anthropic来说是个问题
立即观看 一种新的支出纪律正在美国企业内部逐渐形成,因为首席财务官和董事会开始严格控制低效的人工智能支出。这一变化有潜力重塑人工智能行业。在过去的两年里,操作手册是默认使用最强大的人工智能模型,并将所有查询都通过它进行处理,无论复杂性如何。现在,随着人工智能账单远远超出预算,公司开始询问是否每个任务都需要最前沿的模型。两位在人工智能扩展中心的领袖本周告诉CNBC,一个解决方案正在浮现:模型路由。什么是模型路由?模型路由是一种将任务与模型匹配的工具,将难题发送给昂贵的最前沿模型,而将简单的问题发送给更便宜、更快速的替代方案。Cognition的首席执行官Scott Wu表示,对于常规工作,使用仍然足够好的模型,效率提高可以达到五到十倍。他说,对于很多模板工作,公司可以使用仍然足够好的模型来实现更高的成本效率。如今,大多数公司根本没有进行路由。Glean的首席执行官Arvind Jain估计,大约95%的企业AI使用仍然在最昂贵的前沿模型上运行,即使对于更便宜的替代方案可以轻松处理的任务。Wu用一个例子说明了这一点:问一个模型第三任美国总统是谁。每个模型,无论多么昂贵,都会告诉你是托马斯·杰斐逊。2022年11月2日,在葡萄牙里斯本的Altice Arena举办的Web Summit 2022第一次日中,Glean的首席执行官Arvind Jain在SaaS Monster舞台上。哈里·墨菲 | Sportsfile | 美国图片 转变背后的压力是一个即使是最大科技公司也感到惊讶的成本曲线。思科的首席产品官Jeetu Patel列出了相关数据。每名员工每周大约需要200美元的代币使用,这意味着每人每年约10,000美元。对于拥有90,000名员工的公司来说,每年需要花费9亿美金。Patel表示,思科的支出超出了预算,必须进行调整,目前有30,000名工程师正在主要利用人工智能进行产品开发。思科重新分配了资源,将代币放在其他支出之上。 压力中的供应商 人工智能公司意识到了这种焦虑。Cognition宣布了它所称的人工智能生产力保证。如果Devin提供的工程价值低于客户实际支付的费用,Cognition将资助其使用直到不低于1000万美元。Wu将其框架化为一种消除行业内困扰已久的投资回报率噪音的方法。Cognition并不只是测量消耗的代币或代码行,而是估算其代理实际节省的人力工程时间,并用退款来支持该估算。他表示,你可以花费数十亿的代币,却什么也不做。公司应该追求产出,而不是活动。如果公司开始将简单、高量的工作指向中国或其他地方的更便宜的开源模型,那么OpenAI和Anthropic就不会因每个任务而获取报酬。它们只会获得更复杂的工作。这两家公司在构建自己的业务及其相关的首次公开募股预期时,都是基于对高需求和高价的假设。Patel认为,这并不会导致前沿实验室的崩溃,并表示前沿技术仍然会保持其价值。但他看到定价模型正在发生变化。实验室将必须在模型使用方面变得更高效,而不是仅仅提高价格,Patel预测这将导致整个行业的共同努力。问题是,随着AI账单的上升,公司是否会继续支出。现在看来,许多公司会找到聪明的支出方式。定价权正在从销售高端AI的公司转向购买它的公司。尽管如此,前沿实验室仍然会对最困难的工作收取溢价。但其他市场的比例有多大?这个答案可能对确定领先人工智能公司的估值有很大帮助。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡