OpenAI首次向用户广泛推出其决策API模型，进入了快速、廉价智能的市场。最近，前沿实验室的一位前研究人员创办的初创公司TypeSafe已成为一家价值76亿美元的公司。TypeSafe的Jev模型创建了一类深度学习模型，作为超级分类器：给定一组选项，它们可以快速做出选择并提供决策的置信度评分。软件开发人员迅速发现，这些决策或系统一模型可以在多种工作流程中取代LLM，以更快的速度和大幅降低的成本运行。OpenAI API的产品负责人Nikunj Handa告诉TechCrunch，他的同事看到Jev时说道：“哇，我们对这个有大约一百万个用例。”Handa的团队快速行动，提供了他们自己的版本：团队并没有构建一个特别校准的决策模型，而是将ChatGPT Luna重新配置以加快推理速度并降低成本。“决策API的重大解锁是速度，将从一到三秒缩短到100、120、180毫秒，”Handa说。“未来，我们可以进行特定的培训，使我们的模型在这些方面变得更好。但现在，能完成任务的就是普通的Luna。”在公司于9月29日的开发者日宣布后，决策API于星期四向所有客户开放。OpenAI为公共版本增加了新的语音和视觉模态，并努力确保其推理资源在全球范围内实现更低的延迟。在与Box、Datadog、Ramp和Speak等客户的初步试验中，工程师们使用该API用更高的吞吐量替换了OpenAI的LLM。构建AI语言辅导的Speak的首席技术官Andrew Hsu表示，决策API使该公司将动作之间的时间从1.4秒缩短到0.13秒。OpenAI还利用该产品改善了他们的Dots语音助手的响应能力。不过，除了“对你有效”之外，目前尚不清楚什么才是一个好的决策模型——在智能、成本、校准和速度方面的优化似乎因工作负载而异。TypeSafe的首席执行官Diogo Almeida对基准测试持怀疑态度，呼吁人们在自己的工作中试用这些模型，但即便TypeSafe也在上周与其最新的Jev模型发布时发布了自己的排名。公共基准测试如AIM系统一指数和人工分析决策指数通常偏爱上周Liquid发布的新决策模型D1 Ultra和Base Lab的Elephant-1。最新的Jev模型在两个指数上分别位列第七和第三，而OpenAI的决策模型则分别位列第八和第十四。然而，目前TypeSafe的产品是在OpenRouter上被查询最多的。不过，最有趣的Jev基准是JevMan，这是一个决策模型玩PacMan的基准；最新的Jev模型在该排名中名列第一。构建该基准的Opper AI的首席增长官Felix Wunderlich表示，经典游戏“是一个有趣的测试，因为它持续不断地需要快速和高风险的决策。在每一个路口，模型必须在几百毫秒内决定去哪里。”OpenAI的模型在多模态上可能有优势——对于图像分类，“Luna极其强大，并且显示出更好的校准，”Handa告诉TechCrunch，并补充说OpenAI的客户希望决策API在使用图像作为输出时更加灵活。Handa还看到速度的进一步提升使新用例成为可能：“我们能否将其降低到60毫秒，然后你可以想象像每一帧视频都可以这样进行API调用？”随着这些产品变得更快、更便宜，我们可以期待它们能兑现Jev的名字，这是一个预测廉价商品只会愈加普及的经济学家。或者，正如Handa所说，“隐藏在眼前的疯狂用例集”，直到决策模型显现出来。当您通过我们文章中的链接进行购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。Tim Fernholz是一位撰写技术、金融和公共政策的记者。他密切关注私人太空产业的崛起，并且是《火箭亿万富翁：埃隆·马斯克、杰夫·贝索斯与新的太空竞赛》的作者。曾经，他在全球商业新闻网站Quartz担任资深记者超过十年，并在华盛顿特区作为政治记者开始了他的职业生涯。您可以通过发送电子邮件至[电子邮件地址]或通过Signal向tim_fernholz.21发送加密消息以联系或验证Tim的外联。查看个人简介