我在我的M4 Pro Mac mini上运行一个本地LLM服务器，配备48GB的RAM。它处理从我的Hermes代理后台到我手机上的快速聊天查询的所有服务。整个设置大约需要30分钟。以下是技术栈：Qwen3.6-35B-A3B-OptiQ-4bit：我用于需要推理或深度的主要模型Gemma-4-E4B-it-OptiQ-4bit：用于简单聊天、格式化和其他常规任务的轻量模型oMLX：推理服务器Tailscale：连接Mac mini、我的iPhone和我的MacBook的tailnet Hermes作为代理后台在Mac mini上运行，我的MacBook运行桌面客户端，我的手机运行Telegram。对于非Hermes使用，我在iOS上使用Apollo进行快速聊天（读起来像Claude，适合一次性问题），Pi作为我的编码代理（我已经写过那个设置），并且在我的Mac上使用Raycast AI来处理随机事情。为什么要这样做？运行本地的主要原因：云API是租用的土地。它们可以改变定价、达到你的使用限制，或者在后台随意更换提供的模型。我经常达到两个每月200美元的订阅的上限，感觉在不同时间从它们那里得到不同的东西。有时模型很好，有时毫无预兆地降级。数据隐私是另一个问题。你不知道这些公司在掌握你的数据后会做什么。它们可能限制数据的使用，它们可能出售数据，它们可能曝光数据。无论如何，这都会造成操作安全风险。如果你处理敏感代码、客户数据或专有工作流程，将其发送到第三方API是一个一次性的不可逆决策。还有AI主权的问题。我一直在关注美国政府是如何限制各种模型的推出的。这种情况可能在任何时候、出于任何政府、出于任何理由发生，而你无法控制。如果你的工作流程依赖于一个受到限制的云模型，你就必须停止或忙于应对。避免这种情况的唯一方法是拥有自己的算力。其他实用优势：成本可预测性。API是可变的。你的使用量激增，你的账单也随之上升。使用本地硬件，成本就是硬件购置费用加上电费。固定。之后，每次推理都是免费的。延迟。没有网络往返会更快响应日常任务。M4 Pro的媒体引擎以对大多数提示感觉瞬时的速度处理推理。离线能力。没有互联网，也能工作。对于在后台运行的代理工作流程，这一点比听起来更重要。没有速率限制。API提供商在你达到使用阈值时会对你进行限制。你自己的机器不在乎你运行了多少。我实际使用的方式：Mac mini始终开机。它放在我的桌子上，除了我需要它的时候我几乎不会注意到它。Hermes也在Mac mini上运行，使用同一台机器上的本地模型。我通过Telegram（在手机上）和MacBook上的Hermes桌面应用访问我的代理。Hermes桌面应用充当一个“外壳”，连接到另一台设备上的Hermes后端（在这种情况下是Mac mini）。这意味着我可以在所有设备上共享一个后端、对话历史和技能集。然后还有其他一切：iOS上的Apollo用于快速一次性聊天。我想要某种读取像Claude但不需要API密钥或订阅的工具。将Apollo连接到http://[mac-mini-tailnet-url]/v1，你就完成了。适合“重写这段话”或“这个错误是什么意思”类型的问题。Raycast也在我的Mac上，用于那些我不想安装任何东西的随机事情。Pi用于编码。我已经写过关于那个设置的内容。重点不是替代基于API的模型，而是处理80%不需要GPT-5或Claude Opus的请求。当我确实需要这些时，它们已然可用。本地模型覆盖了我大部分日常需求。模型细分：在本地运行大模型归根结底取决于一个因素：它在内存中实际需要的RAM多少。大多数人查看参数数量，得出错误的结论，因为密集型模型和专家混合（MoE）模型之间的区别在消费级硬件上非常重要。以下是如何读取标识符：Qwen3.6-35B-A3B-OptiQ-4bit Qwen3.6：模型系列和版本 35B：所有专家的总参数 A3B：每个token激活的参数（30亿，而不是35） OptiQ-4bit：混合精度量化（主要是4-bit，敏感层为8-bit） gemma-4-e4b-it-4bit gemma-4：Google的Gemma 4系列 e4b：编码大小，大约总共40亿参数 it：指令调优 4bit：均匀4-bit量化 主要区别在于A3B部分。一个密集的27B模型在RAM中始终加载270亿个参数，对于每一个token而言。像Qwen3.6-35B-A3B这样的MoE模型有350亿个总参数，分散在256个专家之间，但每个token实际上仅激活约30亿个。其他320亿个在RAM中闲置。在我的48GB Mac mini上，4-bit的Qwen3.6-35B-A3B大约占用20GB的RAM。这为上下文窗口、操作系统和其他应用留出了28GB的空间。