OpenAI 和博通推出 LLM 优化的推理芯片
早期测试表明,第一代加速器每瓦的性能显著优于当前的最先进技术。该加速器从零开始构建,专为行业内当前和未来的 LLM 而设计,在九个月内从设计到生产,受到 OpenAI 模型的加速影响。其扩展了 OpenAI 的全栈平台,从产品到模型,再到芯片,将与多个数据中心合作伙伴以千兆瓦规模部署,涵盖多个世代。 今天,OpenAI 和博通(NASDAQ:AVGO)联合推出了 Jalapeño,这是OpenAI首款智能处理器,是围绕OpenAI对LLM推理未来愿景设计的加速器,也是两家公司在共同构建的多代计算平台中的首个AI加速器,旨在使先进AI变得更快、更可靠、并更容易被更多人所获取。Jalapeño 已经由博通总裁兼首席执行官 Hock Tan 和总裁 Charlie Kawwas 交付给 OpenAI 首席执行官 Sam Altman 和总裁 Greg Brockman,标志着 OpenAI 在其模型和产品背后建立全栈基础设施战略的重要一步。 OpenAI 依据其对 LLM 基础知识的深入理解,从零开始设计了该芯片,同时考虑了模型、内核、服务系统和产品需求的路线图,伙伴博通和 Celestica 通过芯片实施、板卡、机架系统集成、高性能网络和可扩展的生产系统帮助工业化该平台。Jalapeño 设计灵活,可以与所有 LLM 兼容,受 OpenAI 对目前和未来 AI 模型推理需求的洞察指导。Jalapeño 芯片的工程样品正在实验室以目标频率和功耗运行 ML 工作负载,包括 GPT-5.3-Codex-Spark。虽然 OpenAI 仍在测量最终性能,但早期测试表明 Jalapeño 每瓦的性能显著优于当前最先进的技术。关于性能的详细技术报告将在未来几个月内发布。该架构减少了数据移动,平衡了计算、内存和网络资源,使实现的利用率更接近理论峰值性能。博通的硅实施和网络技术,包括 Tomahawk 网络硅,帮助将该平台推向大规模生产。 “世界正在向计算驱动的经济转变,”OpenAI 总裁兼联合创始人 Greg Brockman 说。“Jalapeño 是我们长期全栈基础设施战略的一部分,旨在让计算更丰富,从而使 AI 更快、更可靠,并更经济地服务于人们和企业,并用于解决更重要的问题。通过自己设计更多的栈,我们可以以更高的效率提供更多的智能,持续推动先进 AI 向更广泛的获取方向发展。” “Jalapeño 是根据我们与 OpenAI 研究人员的密切合作,使用详细见解从零开始为 LLM 推理设计的,”领导 OpenAI 硬件计划的 Richard Ho 说。“我们围绕对前沿 AI 模型最重要的内核、内存移动、网络和服务模式优化了架构。根据早期测试,Jalapeño 将高效地执行我们最重要的工作负载,接近硬件的理论极限。” “与 OpenAI 的合作代表了对未来十年 AI 所需物理基础设施扩展的根本承诺,”博通总裁兼首席执行官 Hock Tan 说。“这只是多代路线图的开始。通过与 OpenAI 直接共同开发我们的行业领先硅,我们正在开启与微软和其他合作伙伴于 2026 年开始的千兆瓦级数据中心的部署。” Jalapeño 旨在成为 LLM 的最佳推理平台,它是现代 LLM 推理的全新设计,而不是从早期 AI 工作负载改编的通用加速器。它参考了 OpenAI 每天在 ChatGPT、Codex、API 和未来代理产品中运行的系统,同时也为行业内当前和未来的 LLM 设计。目标是结合当前领先的 AI 加速器的计算能力和吞吐量,同时使延迟接近最快的专用推理系统,使 Jalapeño 非常适合大规模互动 LLM 产品。这就是全栈优势。 OpenAI 不仅在开发前沿模型或基于这些模型构建产品;它还在设计这些模型下方的基础设施:芯片架构、内核、内存系统、网络、调度、部署系统和产品体验。因为 OpenAI 在整个栈上运作,每一层都可以围绕相同的目标进行优化:使其模型更快、更可靠,并让用户获得更多可承受的解决方案。Jalapeño 加强了 OpenAI 进步背后的飞轮。更好的基础设施驱动计算效率。更大的计算效率使得更好的训练和服务成为可能,最终支持更强大的 AI 模型。更好的模型就会...
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡