计算器 哪款Mac运行哪种LLM，速度如何 两个数字决定了在Apple Silicon上本地运行模型的所有事项。无论它是否适合统一内存，这是关于参数数量的算术。还有它生成的速度，这是内存带宽除以权重的大小。选择你下面的Mac和模型，计算器会同时完成这两个步骤。你的Mac 统一内存 模型 量化 上下文 是的。Llama 3.3 70B在Q4_K_M下运行在64GB的M4 Pro上。预计生成速度约为5.7个tokens/秒。权重为42.8GB，8K tokens的上下文大约增加了1GB，并且在计算macOS后，你的64GB中有53.2GB已经被占用。租用一台运行它的Mac：64GB的M4 Pro Mac mini，每月197美元，按年计费，或每月286美元，按月计费。配有Ollama和OpenAI兼容端点的专用机器，准备就绪大约需要5分钟。租用这台Mac 那个答案是有成本的。56GB的统一内存在任何Mac上都不是一个便宜的选择。在你决定硬件之前，值得了解的一点是：租用64GB的M4 Pro一个月需要286美元，这足够让你在自己的文档上运行Llama 3.3 70B，并找出5.7 tokens/秒是否足够快以达到你的预期。两个公式 内存。以吉字节为单位的权重是参数数量（以十亿为单位）乘以每个权重的位数除以8。一旦计算GGUF元数据，Q4_K_M的平均位数大约为4.85，Q8_0约为8.5，FP16正好是16。增加15%的运行时开销，为你的上下文长度添加KV缓存，然后留出3GB用于macOS。一个没有空余的模型将在你粘贴一份长文档时立刻交换到SSD，而交换的成本远远高于任何量化所节省的成本。 速度。生成一个token意味着从内存中读取每个活跃权重一次，因此带宽除以权重大小设置了上限。固定的每token成本在此之上，它不会随模型缩小：采样、内核启动、框架开销。每token的秒数是两者的总和。根据我们在两台机器上测量的八次密集运行结果，在基础M4和M5 Pro上，这个结果达到理论带宽的90.8%加上3.3毫秒的开销，并且每一次运行的复现误差在4.6%之内。第二个项是大多数计算器忽略的，这就是它们的数字在小端停止显得有意义的原因。仅凭带宽预测627 tokens/秒在M5 Ultra上运行Llama 3.2 3B。我们的预测为177，因为一旦权重降至两吉字节左右，每个token的固定成本（而不是内存总线）才是你所要面临的。 方法和原始JSON的底层测量在基准页上，模型及其数据和测试在GitHub上的MIT下，因此你可以将它与自己的运行进行比较。在你基于网页上的数字花钱之前，值得了解的事情。开销项在不同芯片之间保持不变。实际上，它几乎肯定会在更快的硅上下降，这意味着Max和Ultra芯片的数字更可能被低估而不是高估。我们宁愿对你即将购买的机器做出保守的承诺。 提示处理是完全不同的数字。预填充是计算密集型的，而不是带宽密集型，在相同大小的模型系列之间大约有2倍的差异。我们在相同硬件上测量的Qwen 2.5 7B为1,130提示tokens/秒，而Llama 3.1 8B则为587。如果你给模型整个文档并希望获得简短的答案，这个差距所带来的影响比每个人所引用的生成数据更重要。 在M4和M5 Pro之外的每一行都是计算出来的，而不是测量的。两台机器足以展示公式的有效性：在基础M4的120 GB/s基础上，它对密集模型预测M5 Pro为307 GB/s的结果在4.1%的误差范围内。这还不够把剩下的称为测量。其余部分与社区报告的结果相符，我们将估算标记为估算。专家模型是我们错误反映的点。仅读取活跃的专家预测Qwen3 30B A3B为91 tokens/秒，而机器实现了78。注意力和网络的共享部分是为每个token读取的，而只有一些专家是为每个token读取的，因此实际读取量比活跃权重大小大约1.3倍。这项修正反映在上述数字中。它来自于一个架构和两个模型，因此它是一个有证据支持的修正，而不是一个法则。封装芯片的速度比名称所暗示的要慢。配有32核GPU的M4 Max运行在410 GB/s，而配有40核的为546。在盒子上是相同的名称，但生成速度上有33%的差异。每个模型的内存和速度，按Q4_K_M最小内存假设为8K上下文，并为系统保留3GB。速度为生成，每秒生成的tokens。一个破折号意味着该模型在其最大内存配置下无法适配该芯片。模型 权重 最小内存 M4 M4 Pro M4 Max（40核GPU） M5 Ultra Llama 3.2 3B 1.9 GB 8 GB 47.5 90 140 199 Mistral 7B 4.4 GB 16 GB 23.1 47.9 83 138 Qwen 2.5 7B 4.6 GB 16 GB 21.9 45.8 80 134 Llama 3.1 8B 4.9 GB 16 GB 20.9 43.8 77 130 DeepSeek R1 Distill 8B 4.9 GB 16 GB 20.9 43.8 77 130 Qwen 2.5 14B 9