返回

文章详情

展示 HN:Lumabri – 如果 LLM 像 Napster 一样工作,会怎样?

Hacker News2026年8月9日 22:24

通过 colibri 引擎,从一群对等方运行大型专家混合模型。纯 C,无依赖。一个机器共享一个模型。任何其他机器都可以与它聊天:没有任何内容是预先下载的,推理实际接触的字节在第一次使用时从对等方到达,并在本地镜像中保留。第二个问题从本地磁盘以全速提供。引擎二进制文件未修改。基本原则:任何机器都可以加入,不论是 GPU 还是不是。引擎首先为 CPU 和 SSD 构建;GPU 只是让它运行得更快,而不会有所不同,无论哪种方式输出都是字节一致的。没有 GPU 的群体也是一个工作群体。集成 GPU 的网络从少数计算机招募;lumabri 从每个人那里招募。快速开始构建:make 在具有模型的机器上(任何 colibri 模型目录):./lumabri serve --model /path/to/model 在想要聊天的机器上(需要 colibri 引擎的构建):./lumabri chat --tracker <server-ip>:7300 --engines-dir /path/to/colibri/c 就这些。第一个答案在工作集越过网络时较慢;之后,即使服务器离线,位于 ~/.lumabri 的镜像仍然保持服务。在聊天中:/swarm 显示网络实时和匿名(对等方编号,从不命名:所持模型、GB、提供字节、心跳),/model 列出群体中的模型并在它们之间切换,动态重启引擎。对于只打开 TUI 的人,lumabri 无需参数。它会询问群体地址,并且只需一次询问操作员的公钥;它自己找到引擎;并把所有这些记住在 ~/.lumabri/config 中,所以第二次只需回车,便可进入。这比便利更重要。它所有要求的内容曾经是一个标志,输入错误不会产生“无效参数” — 缺少 --engines-dir 会导致 299 GB 的下载,而缺少密钥则会导致无人验证的模型。给定标志时仍会胜出,所以脚本不会继承某人的保存答案。加入:聊天,或者带来 lumabri 聊天在进入时询问一次,回车表示“只是聊天”,因此不耐烦的路径是一个按键:你能进入这个群体吗? 1 只聊天不共享任何东西 2 聊天并提供磁盘 保持一块 glm 给群体 3 聊天并捐赠计算 执行专家 供他人使用 4 两者都可以输入 = 只是聊天 选择 2 时,它会询问有多少 GB(回车占用四分之一的可用空间,会有上限),然后以该预算启动维护者:跟踪器优先分配最少复制的文件,然后拉取,验证每个字节与操作员的签名一致,并提供它们。选择 3 时,它会为该模型的引擎启动专家节点。两者作为聊天的子进程运行,并在你关闭聊天时停止 — 这是从开放的终端提供的东西的真实生命周期。应当超越会话的捐赠者是 lumabri serve --join。捐赠计算需要磁盘上的模型(专家节点从那里读取权重),所以仅在 --model-dir DIR 选项可用的情况下提供选项 3。捐赠磁盘不需要任何东西:你从空开始,群体会填满你。脚本跳过问题: --role chat|disk|compute|all ,以及 --donate GB 和 --model-dir DIR。单个群体中多个模型 一个跟踪器是索引,而非模型服务器,因此它可以保存你指向的任意多个模型 — 来自一台机器或多台机器:lumabri serve --model /models/glm --port 7300 lumabri serve --model /models/olmoe --join 127.0.0.1:7300 --port 7310 lumabri serve --model /models/deepseek --join 127.0.0.1:7300 --port 7320 每个 serve 带有自己的维护者(字节)和自己的专家节点(计算),每个都在其模型的名称下注册。聊天者看到 /model <name> 切换到群体中的 3 个模型:引擎针对新模型重启,并且由于引擎二进制文件是根据该模型的 model_type 选择的,因此在不同架构间切换也是可行的 — GLM 到 OLMoE 到 DeepSeek,一个客户端,一个跟踪器。捐赠者也是每个模型的:一台机器可以持有一部分一个模型并且为另一个模型执行专家。跟踪器保持它们分开,并且聊天者只会发现与其正在对话的模型的对等方。捐赠空间,服务器决定:一台空目录的机器可以提供一个字节预算,跟踪器分配它要持有的切片,以最少的字段优先,因此每个捐赠的千兆字节都将在群体中最稀疏的地方落地。捐赠者从群体中拉取切片,然后提供它。 ./lumabri serve --model ./slice --join TRACKER:7300 --model-name tiny_olmoe --donate 5 NAT 层:维护者保持一条外发的控制连接到跟踪器,当直接拨号失败时,通过它转发字节。位于任何家庭 NAT 后的对等方可以在不进行路由器配置的情况下提供服务;直接对等对等仍然是首选。自检证明转发路径上的字节身份也有效。私有群体:在每台机器上设置 LUMABRI_TOKEN=S — serve 将其传递给跟踪器,跟踪器和每个维护者都拒绝未经身份验证的连接,因此令牌可保护...

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡