将两台机器放在桌子上，每台大约2000美元。一台是配备NVIDIA RTX 5090的塔式电脑：32GB的最快消费级内存，速度为1792 GB/s。另一台是一台迷你PC，大小与一本平装书相似，是一款搭载128GB焊接内存的AMD Ryzen AI Max+ 395 “Strix Halo”盒子，速度约为256 GB/s。现在问每台机器能否运行一个70亿参数的模型。RTX 5090无法做到。一个70B模型在合理的4位量化需要大约40GB，而40GB无法适应32GB。因此，迷你PC毫无怨言地加载它，然后以慢读者的速度回答。这个悖论就是整个迷你PC类别的一幅图像：这些盒子可以容纳更快的GPU无法运行的模型，虽然它们在速度上有所牺牲。理解其原因归结为一个概念，统一内存，以及两个相反方向的数字。我们自己没有对这些盒子进行基准测试。接下来的内容综合了供应商规格、推理文献和用户测量的数字，全部链接在最后。"统一内存"的含义在普通桌面电脑中，CPU拥有自己的系统RAM，显卡拥有自己的独立VRAM，数据通过PCIe总线在它们之间传输。模型必须适合GPU的VRAM才能在GPU上运行，这就是为什么24GB显卡设定了硬性上限24GB，无论你增加多少系统内存。统一内存机器抛弃了这种分割。CPU、集成GPU和NPU共享一个单独的焊接LPDDR5X内存池。没有独立的VRAM，因此几乎整个内存池都可以交给模型使用。购买128GB配置后，你将拥有接近128GB的“VRAM”供模型使用，价格大约相当于一张中档显卡。苹果多年来一直以这种方式构建Mac；AMD的Strix Halo、NVIDIA的DGX Spark、Intel的Core Ultra和Qualcomm的Snapdragon X现在都采用了同样的方式。这就是为什么迷你PC突然进入地方LLM对话的原因。以低价格提供更大的容量。决定一切的两个数字一台机器适合本地LLM的能力归结为两个规格，人们常常混淆：容量（多少GB内存）：决定模型是否能够加载。这就是统一内存迷你PC获胜的地方。内存带宽（每秒多少GB）：决定加载后生成文本的速度。这是它们逊色于真正GPU的地方，且差距很大。以下是当前的情况。带宽数据为理论峰值（实际传递的带宽较低，这是我们回到的一个点）。容量是最高可用的统一配置。机器（SoC） 内存总线 峰值带宽 最大统一内存 Intel “Lunar Lake”（Core Ultra 200V） 128位 LPDDR5X-8533 ~137 GB/s 32 GB Qualcomm Snapdragon X2 Elite 128位 LPDDR5X ~152 GB/s 高达128 GB Intel “Panther Lake”（Core Ultra X） 128位 LPDDR5X-9600 ~154 GB/s 96 GB Qualcomm Snapdragon X2 Elite Extreme 192位 LPDDR5X ~228 GB/s 高达128 GB AMD Ryzen AI Max+ 395 “Strix Halo” 256位 LPDDR5X-8000 256 GB/s 128 GB NVIDIA DGX Spark（GB10） 256位 LPDDR5X-8533 273 GB/s 128 GB Apple M4（Mac mini） 128位 120 GB/s 32 GB Apple M4 Pro（Mac mini） 256位 273 GB/s 64 GB Apple M4 Max（Mac Studio） 384到512位 410到546 GB/s 128 GB Apple M3 Ultra（Mac Studio） 1024位 819 GB/s 高达512 GB 对比：独立GPU（速度更快，容量要少得多） RTX 3090 / 4090 384位 GDDR6X 936 / 1,008 GB/s 24 GB RTX 5090 512位 GDDR7 1,792 GB/s 32 GB RTX PRO 6000 Blackwell（约8500美元） 512位 GDDR7 1,792 GB/s 96 GB 来源：供应商规格表、Chips and Cheese、NotebookCheck、TechPowerUp。带宽=理论峰值。将表格视为两个故事。在迷你PC行中，容量上升到128GB（在M3 Ultra上为512GB），而带宽保持在大约120到270GB/s之间。在GPU行中，则相反：900到1800 GB/s的带宽，但在达到8500美元的工作站卡之前，容量限制在24到32GB。迷你PC和二手RTX 3090不是同一量表上的两个点。它们是对立的。为什么带宽，而不是计算，决定速度要想解释快速GPU和宽敞迷你PC为何表现如此不同，你需要用到屋顶线模型（Williams, Waterman, and Patterson, 2009），这是推理性能的标准方式。它表示一个工作负载受到芯片的计算速度或从内存中传输数据的速度的限制，具体取决于哪个先耗尽。哪个会受到限制取决于每个字节读取的数学运算量。文本生成对每个字节的数学运算非常少。生成一个标记时，机器必须基本上从内存中读取整个模型一次，然后进行少量算术运算。因此，时钟由内存带宽而非计算决定。苹果自己的机器学习团队在他们的MLX中简明扼要地指出：“生成后续标记的速度受内存带宽的限制，而不是计算能力。”学术版本亦是如此。Pope等人的《有效扩展Transformer推理》（2022）将生成延迟建模为受到从内存流出权重的时间主导。这为任何机器提供了一个速率的初步限制：每秒解码标记≈内存上传