内容类型：特色亮点 在Apple Silicon的Mac上，MLX让AI研究者和开发人员能够在私密环境中本地实验最新的模型和方法。这个开源数组框架利用了Apple Silicon的统一内存架构，使任何人都可以在自己的硬件上运行新的推理和微调方法，并探索其他AI技术。在之前的文章中，我们强调了M5架构及其GPU神经加速器的优势。在这篇文章中，我们展示了如何使用今天发布的最新版本MLX，从自己的桌面直接运行最新的前沿级模型——拥有近一万亿参数的Muse Spark Open。在一组四台Mac Studio上，Muse Spark Open的生成速度超过每秒36个令牌（见图1），远高于人类的平均阅读速度。从单台Mac Studio（最多512GB统一内存）开始，然后通过Thunderbolt RDMA驱动在多个Mac上扩展，下面我们分享您现在可以在Mac Studio上运行的多种模型的概述。图1：Mac Studio上M5 Ultra的Muse Spark Open解码速度（每秒令牌数），上下文大小为8,192个令牌。数值越高越好。我们报告了三种并行方案的性能：在两台Mac Studio电脑（2 M5 Pipeline）上的管道并行化，以及在两台（2 M5 Tensor）和四台（4 M5 Tensor）Mac Studio电脑上的张量并行化。我们使用MLX LM包在Mac Studio上基准测试几种流行的开源权重LLM，如我们之前的帖子中所描述的。我们比较了两代Mac Studio：最近发布的M5 Ultra和前一代M3 Ultra。M5系列具有GPU神经加速器，支持专用的矩阵乘法操作，这对于许多机器学习工作负载至关重要。我们评估了三种前沿级模型（表1），跨越不同规模（以十亿参数为单位，B）：新发布的Muse Spark Open（816 B）、Mistral Medium 3.5（128 B）和Qwen 3.8（27 B）。Muse Spark Open是一个专家混合（MoE）模型，仅保持其一部分专家——因此参数——处于激活状态，从而在推理时减少计算，评估精度为NVFP4。Mistral Medium 3.5和Qwen 3.8是密集架构，在推理时所有参数均处于激活状态，评估时使用各自的浮点精度（FP8和BF16）。表1：本帖中使用的语言模型。模型以各种精度格式发布；我们将Qwen 3.8和Mistral Medium 3.5评估为其本地精度，而Muse Spark Open评估为4位（NVFP4）精度。我们的评估在不同的上下文大小范围内测量三个指标：首次令牌时间（TTFT，以秒为单位）、生成吞吐量（以令牌/秒为单位）和峰值功率使用（以瓦特为单位）。本帖中所有的性能数字均为通过mlx_lm.benchmark获得。例如，使用命令行运行Qwen 3.8，使用8,192个令牌的上下文并生成128个令牌的命令为：mlx_lm.benchmark --model Qwen/Qwen3.8-27B -p 8192 -g 128 -b 1。在Mac Studio上，本地LLMs的一个流行用途是在私密环境中运行代理性体验，包括经常需要大上下文的代理编码应用。因此，我们报告了8,192和65,536上下文大小下的性能。表2和表3分别报告原始TTFT和解码吞吐量。Qwen 3.8 27B和Mistral Medium 3.5 128B能够轻松在单台512GB的Mac Studio上运行，在大型上下文大小（65,536个令牌）配置下，占用最多68GB和158GB的RAM。在图2中，我们在单台512GB RAM的Mac Studio上比较它们在M3 Ultra和M5 Ultra上的推理性能。首次令牌时间（TTFT）基本上受计算限制，而这正是M5 Ultra GPU中的神经加速器表现出色的地方：专用的硬件支持快速的GPU神经加速器矩阵乘法，直接转化为TTFT的显著加速，相比M3 Ultra快了最多4.6倍（见图2）。这使得配备M5 Ultra的Mac Studio成为处理涉及非常大上下文的任务的首选桌面。生成速度（以令牌/秒计）受内存带宽限制。M5 Ultra芯片提供1.2 TB/s的统一内存带宽，相比M3 Ultra的819 GB/s有所提升。在这里，直接转化为生成速度（见图3），配备M5 Ultra的Mac Studio报告生成速度快了1.6倍。图2：在8,192和65,536个令牌的上下文大小下，Qwen 3.8和Mistral Medium 3.5在M5 Ultra和M3 Ultra基线上的首次令牌时间（TTFT）加速。M5 Ultra GPU神经加速器在受计算限制的工作负载中表现出色。图3：在Qwen 3.8和Mistral Medium 3.5的情况下，M5 Ultra相对M3 Ultra基线的解码速度提升，适用于8,192和65,536个令牌的上下文大小。