自 inception 以来，Azure Maia 一直围绕着单一的架构哲学构建：优化整个系统以进行 LLM 推理，以便每一瓦特和每一美元都能提供更多智能。如今，第三代 Maia 300 是这一哲学的最完整表达。Maia 300 被构建为一个完整的系统，软件、硅、物理机架基础设施、网络和数据中心共同设计，以作为一个单一平台运行，以满足云规模的自主推理需求。这种系统级别的方法在自主工作负载日益增加的情况下变得越来越必要，包括多步骤执行、长上下文解码和工具使用，这些都改变了推理的计算特征和算术强度。满足这些需求需要持续的本地性，为计算提供足够的内存容量和带宽，最小化数据移动，高效地扩展通信，并在数据中心的固定电力和冷却范围内适配更多的能力。在微软，我们通过客户每天使用的产品和平台，亲身见证了这种转变，从 Microsoft Copilot 到 GitHub Copilot 再到 Microsoft Foundry。大规模运行这些工作负载使我们获得了独特的视角，了解 AI 如何在各个行业被采用以及支持下一代 AI 应用程序和代理所需的基础设施。Maia 300 旨在最大化每瓦特和每美元的有用令牌数，为这些产品及微软更广泛的 AI 产品组合带来更多的容量、能力和性能。通过软件定义的数据流实现能效推理，Maia 200 引入了一种新的加速器架构类，称为软件定义本地访问的数据流架构（SDLA）。它首先观察到，效率数据管理，包括数据的存储、移动和转换，是现代 AI 系统中的一个核心挑战。Maia 可编程的数据流架构将控制路径编程与数据路径执行分开，并允许软件明确协调数据放置、移动、转换和同步，跨越专用的本地内存、DMA 引擎、计算引擎和网络。Maia 300 系统级芯片架构，Maia 300 针对长上下文、推理密集型和重解码推理发展了这一架构。首先，内存从 SoC 的统一内存访问（UMA）组织转移到芯片组之间的区域感知非统一内存（NUMA）组织，从而使软件可以将数据放置在使用它的计算附近。其次，新的窄精度格式与硬件加速的数据类型转换一起，减少了每个令牌移动的字节数。第三，机架加倍到 96 个加速器，扩展域增长到 12,288 个加速器的超级集群，使更多加速器能够有效地作为一个系统工作。与仅通过增加电力和硅面积来扩展性能不同，Maia 300 通过一系列架构创新提高每瓦特的性能，优化数据移动、本地性、精度和内存效率：多芯片集团架构通过将计算放置在 TSMC N2P 上来提升性能，先进工艺带来最大的每瓦特性能收益，同时将内存控制器和 I/O 功能分配到针对带宽、连接性和成本优化的芯片上。这增加了专用于计算性能的硅面积，并允许每个功能使用最适合其角色的技术，而 SDLA 管理包内的数据移动和本地性。这一策略使系统的计算 FLOPs 增加了 36%，增加了 2.5 倍的 HBM 带宽，并提供了 14% 的扩展带宽。优化低精度推理，引入了增强的 MXFP4 和子 3 位存储格式。更窄的表示减少了内存占用和数据移动，使得系统能够在同一功率范围内支持更大模型、更长上下文以及更多并发会话。通过 ISA 增强优化推理内核：向量引擎为关键推理内核增加了优化，包括 softmax、低精度数据转换和其他操作。高效的芯片上数据移动，Maia 300 将内存从统一组织变为芯片组之间的非统一（NUMA）组织。每个计算区域都有附近的内存，而 SDLA 对 DMA 引擎、本地 SRAM、HBM 和片上网络的显式控制将数据放置在使用它的计算旁边。数据经过的距离更短，从而减少了搬运数据所花费的能量。内存层次结构优化按瓦特带宽，将软件管理的芯片上 SRAM 与八个 HBM4 堆栈结合，提供每个加速器 288 GB 的容量和 18 TB/s 的带宽。与 Maia 200 相比，这提供了 2.5 倍的内存带宽，33% 更多的容量，以及每瓦特约 2 倍的 HBM 带宽，将更多模型和 KV 状态保持靠近计算。Maia 300 带来 2.5 倍的内存带宽，33% 更多...