Inception "Mercury 3", 1000 tok/s 扩散 LLM
今天我们推出了 Mercury 3,这是迄今为止发布的最强大的基于扩散的 LLM。在一系列基准测试中,Mercury 3 超越了 GPT-6 Luna 和 Claude Haiku 5.5,同时以每秒 1000+ 个 token 的速度快 4-8 倍。Mercury 3 证明了文本扩散可以扩展。它比 Mercury 1 大超过 40 倍,智能程度也有了显著提高,但速度依然保持不变。早期访问的合作伙伴已经在语音和聊天支持、实时辅导、数据工程和网页导航等方面使用 Mercury 3: Mercury 3 一览 质量:与 GPT-6 Luna 和 Claude Haiku 5.5 等前沿速度优化模型相当或更好。速度:在 NVIDIA GPU 上为每秒 1,068 个 token。上下文:1M token,比 Mercury 2.5 的 260K 增加。价格:每百万输入 $0.20,每百万输出 $0.70。发布时,Mercury 3 的价格为每百万输入 $0.10 和每百万输出 $0.35,折扣 50%。缓存 token 的输入价格折扣 90%。 大规模扩散 当我们推出 Mercury 1 时,它是扩散 LLM 可用于商业应用的第一个证明点。AI 社区中的开放性问题是扩散 LLM 是否能够扩展到与自回归模型在复杂使用案例中竞争。Mercury 3 回答了这个问题:可以。我们将 Mercury 的总参数规模扩大了超过 40 倍,智能性在一系列标准基准测试中从 Mercury 1(迷你版)到 Mercury 3 上升了 3 倍。推动自回归模型进展的扩展法则同样适用于扩散。 Mercury 3 的生产 早期访问的合作伙伴已经在运行 Mercury 3,以支持延迟敏感的应用,如浏览器使用代理、互动教育、实时搜索代理和客户支持。 浏览器使用代理 代理在每一步都依赖于模型,因此小的延迟会迅速积累。Mercury 让每次传递都保持快速,无论代理是在浏览网站、在多个来源间进行研究,还是在分析日志和追踪事件。代理的完成速度更快,有时间尝试更多的方法再回复。我们在生产Web代理环境中运行 Mercury 3,与前沿模型进行对比,在 50 个实时 Mind2Web 导航任务中,Mercury 3 完成了其中 50%,显著超过了 GPT-6.1-Sol。它在相同的 token 量和代理步骤数下实现了这一成绩,且每个 token 的成本远低于前沿模型。 张书浩,TinyFish AI 联合创始人 互动教育 学习依赖于快速反馈循环,任何延迟都会让学生无法集中注意力。Mercury 针对每个请求进行推理,并在接近实时的情况下给予回应,无论是进行对话的语音辅导员、批改作业的助理,还是根据学生刚刚答错的内容来调整下一个问题的应用。Mercury 3 使我们能够为每位学生提供即时反馈,而不牺牲推理能力。提示、标记答案和定义现将在大约一秒内返回,质量与我们之前运行的模型相当或更好。当学生在某个问题上卡住时,这种速度让他们继续工作而不是等待,且在我们的现有堆栈中可以直接替换。 Michael Tong,General Learning 联合创始人兼 CTO(又名 RevisionDojo) 实时搜索代理 在延迟几秒钟后,搜索应用程序开始感觉不够响应。Mercury 3 的运行速度足以处理数十个文档,并在用户使用的同时回答。在智能眼镜上,五秒钟响应时间会让人觉得被打断。在我们的 Sense API 测试中,Octen 搜索耗时约 80 毫秒;模型生成是瓶颈。Mercury 3 在我们测试的快速模型中提供了速度和质量的最佳平衡,中位数生成时间为 0.9 秒,中位数端到端响应时间为 2.2 秒。 Kuan Zou,Octen AI 创始人兼 CEO 客户支持 支持代理必须快速回答,尤其是在需要监管的企业中,错误的答案代价高昂。Mercury 使回答保持对话而不降低准确性。在 Lorikeet,我们帮助复杂和受监管的企业为客户构建跨语音、聊天和电子邮件的礼宾服务。在聊天和语音中,客户需要快速的响应,但我们不能在准确性或完成工作方面妥协。在早期测试中,Mercury 3 在延迟上超过了其他模型,同时在评估和生产中表现更高。 Michael Gribben,Lorikeet 技术员工 Real-time 产品组合 Mercury 3 是不断扩大的实时 AI 产品组合中的旗舰模型。 Mercury Voice:Mercury Voice 针对语音应用的极低延迟要求进行了定制,并最小化首个回答 token 的时间(TTFAT),而不仅仅是端到端延迟。它已经在 Audivi AI、Altur 和 OpenCall 的代理中得到了应用。 Mercury Decide:Mercury Decide 是一款针对高容量分类的决策模型。它在包括 JevBench 和 LegalBench 在内的基准测试中超过了 Jev。 开始使用 Mercury 3 现在可以在 Inception API 平台上、通过 OpenRouter、Baseten 和 Vercel 获得。它与 OpenAI API 兼容,因此
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡