当人们想象运行大型语言模型时，他们通常会想到一个数据中心。成排的GPU属于其他人，一个计量API，以及随着成功而不断增加的账单。你将提示发送到一个黑箱，并希望价格、模型和隐私政策在你注册时保持不变。对许多团队来说，这是一项糟糕的交易。你放弃了控制模型何时更改、数据的去向以及哪些硬件运行你的工作负载。而随着使用量的增加，账单也随之增加，唯一能做的就是“多付钱”。Mesh LLM则不同。它利用你已经拥有的GPU和内存，跨越任意数量的机器，将整个系统暴露为一个与OpenAI兼容的API。启动一个节点，稍后添加更多节点。让网络决定模型是在你面前的盒子上运行，还是路由到对等节点，或是分布到几台机器上。问题是：AI成本昂贵，而且是其他人的。流行的模型是庞然大物。大多数人通过UI或API密钥访问它们，并向大型供应商支付费用来运行一切。这很方便，但也是一种放弃。你无法控制模型何时更新，运行在何种内存中，或底层的硬件是什么。许多依赖这些模型的企业和服务想要相反的东西：更多的控制，更多的可插拔性，更低的成本。他们在办公室、储物间和桌子底下都有GPU。然而，他们缺少的是一种让这些机器像一个整体运行的方法。推介很简单。在不购买更大GPU的情况下运行更大的模型。与团队私密共享计算，或公开与世界分享，以驱动代理和聊天。将任何OpenAI客户端指向http://localhost:9337/v1，而不再关心实际的工作发生在哪里。在底层，Mesh LLM将模型计算分布在一组iroh端点上。请求可以通过三种方式处理：在本地运行，利用这台机器的GPU；路由到已加载模型的对等节点；将一个太大的模型分割到几台机器上，作为一个流水线。该架构是可插拔的。插件在清单中声明它们提供的内容，运行时启动它们，路由调用，并通过MCP、HTTP、推理和网络事件公开它们的能力。该目录提供40多个模型，从适合笔记本的五亿参数模型到235B的巨型混合专家模型。对于这些巨型模型，Mesh LLM有一种分割模式（在内部称为“Skippy”）。一个模型按层范围分割成几个阶段：0到15层在一个节点上，16到31层在下一个节点上，依此类推。激活从一个阶段流向下一个，因此几个适度的机器可以运行一个它们单独无法承载的模型。OpenAI客户端从未看到这些。它仍然只是与localhost通信。每个节点，无论是服务模型还是仅发送请求，都启动一个iroh端点。该端点是节点的身份，公钥，以及它唯一的网络表面。没有中心服务器。iroh处理打开两个节点之间的直接、经过身份验证的QUIC连接所需的打洞、NAT穿越和中继回退，无论它们位于何处。为了在开放互联网中保持这一连接，Mesh LLM在不同地区运行两个iroh中继，因此不能直接相互访问的节点总是有附近的备用路径。整个协议基于QUIC的ALPN协商。有三个：ALPN 它携带的内容 mesh-llm/1 主网格：八卦、路由、HTTP隧道、插件通道 mesh-llm-control/1 拥有者控制平面（配置同步、所有权证明） skippy-stage/2 对于分割模型的延迟敏感激活传输 在主mesh-llm/1连接内部，所有内容都是双向的QUIC流，标记有一个单一的前导字节，表示流的类型。一条连接承载八卦、推理、路由查询和对等生命周期事件，所有这些都通过第一个字节进行解复用： 字节 流类型 描述 0x01 GOSSIP 对等节点公告（模型、GPU、RTT、能力） 0x04 TUNNEL_HTTP 转发的推理请求到对等节点 0x05 ROUTE_REQUEST “你托管哪些模型？” 0x06 PEER_DOWN 死对等通知 0x07 PEER_LEAVING 优雅关闭 0x08 PLUGIN_CHANNEL 插件RPC 0x0e DIRECT_PATH_REQUEST 共享直接地址以进行NAT穿越 有趣的是这为你带来了什么。iroh在任何两台机器之间提供经过身份验证的、NAT穿越的QUIC连接，通过公钥进行寻址。所以“路由到对等节点”和“将激活流传输到下一个管道阶段”变成了与“与localhost交谈”相同的原语，只是使用不同的端点ID。网络不再是需要考虑的内容。iroh提供安全的传输。Mesh LLM在其之上构建了自己的八卦层，因此它可以精确控制谁被允许进入网络，哪些版本是兼容的，以及哪些对等节点可以信任。用户可以安装轻量级软件（约18MB），并加入公共网络或配置私有部署。该系统向任何标准OpenAI客户端呈现为localhost:9337/v1。一个移动应用正在开发中。