Reame 是一个精简的、经过全面测试的 LLM 推理服务器，基于 llama.cpp 构建 - 旨在为您现有的硬件设计：共享的 vCPU、免费套餐、2 核 ARM 机器。Reame 不是第一个推理服务器，但它是第一个将廉价 CPU 硬件视为优先级的产品，而不是备用。它的论点很简单：在 CPU 上，永远不要计算相同的事情两次。Reame 是为针对您自己数据的窄而重复的 AI 工作负载而构建的，使用您已经支付的硬件——答案存在于您提供的上下文中，而不是模型的通用知识中。这正是小型模型与前沿模型相匹配的地方（我们在免费的 2 核 ARM 机器上用 7B 测得 100% 的长上下文提取准确性），也是 Reame 的内存使请求 #100 的成本仅是请求 #1 的一小部分的地方。使用场景：它的适用性：建议模型。文档提取和分类（RAG、发票、票据、抓取）：答案存在于上下文中；提示共享前缀 → 磁盘缓存付费。Qwen2.5 1.5B。批处理管道（过夜标记 10k 产品、元描述、邮件分流）：由于其性质而重复 → Palimpsest 草拟它们；每个 token €0，无速率限制。Qwen2.5 1.5B-3B。薄利 SaaS 内的 AI 功能：一个 €5 的 VPS 而不是计量 API 使单元经济保持活力。Qwen2.5 1.5B-7B。隐私限制工作（法律、医疗、公共部门）：数据从不离开您的服务器——完全主权。Qwen2.5 7B。私人代码自动补全（Continue.dev + OpenAI 兼容 API）：逐行补全是个狭窄任务；代码从不离开笔记本电脑。Qwen2.5-Coder 1.5B。Reame 不是为了——直言不讳，因为信任在这里建立：通用的 ChatGPT 替代品（前沿推理和广泛知识需要前沿的参数数量）、主动编码助手或大规模创意长篇写作。如果您的任务需要一个 100B 级的大脑，就买一个；如果它需要您私下处理文档，永远以零边际成本——那是一个您可以拥有的领域。🗂️ 持久共享前缀 KV 缓存——提示前缀快照到磁盘（zstd、校验和、LRU 预算）并在不同提示、重启和进程之间重用。系统提示由第一个用户支付一次。📜 Palimpsest：服务器记住它生成的内容——每次完成的生成都会填充一个磁盘上的 n-gram 存档；未来的请求从中草拟，无需费用。领域工作负载会重复自己——让它们付出代价。🎭 Il Suggeritore：语法作为草稿源——受限解码使用结构禁止 token；Reame 反转它，并使用结构来提出这些 token。列表编号、子弹和格式 token 在没有人生成过的内容上被免费推测。🔮 自我调节的推测解码——一个小型草拟模型或零成本的 n-gram 查找提出 token；目标在一次批处理通过中验证它们。Reame 测量推测是否在您的硬件上有效，并在它没有时自行关闭。🏛️ The Conclave：共识作为质量调节旋钮——--best-of N 在一个交错批处理中生成 N 个候选答案来响应同一个提示（一个预填充，克隆到其他的 KV 拷贝；每个权重读取共享）并在最终结果上通过多数选出赢家。绝对多数同意的那一刻，拖后腿的会被停止。诚实测量：它从您已经运行的模型中榨取每个测验大约一个额外的正确答案——它并不是让 1.5B 超越 3B（共识修复方差，而非偏见）。👥 交错多用户服务——N 个并发生成在单个多序列批处理中共同推进，分享每次的模型权重读取（主导内存受限 CPU 解码的成本）。🌐 OpenAI 兼容 REST API——/v1/completions、/v1/chat/completions、SSE 流、会话、持有者身份验证、指标。将任何 OpenAI 客户端指向它。⚡ 零配置 CLI——reame run qwen2.5-1.5b 一次性下载模型，自动配置主机的线程/KV/缓存并进入聊天室（或 --serve）。在您想要的时候才需要配置文件。🧪 210 个隔离测试用例——每一层都可以模拟并没有模型进行测试；多序列、推测和 KV 克隆路径的正确性在集成测试中与真实模型进行了对比。测量，而不是承诺。下面的每个数据都是在命名的硬件上由已发布的二进制文件生成的——包括在设计过程中形成的负面结果。硬件 模型 配置 结果 Oracle Cloud 免费套餐（2× ARM，12 GB，€0/月） Qwen2.5-7B Q4_K_M plain，KV q8_0 3.3 tok/s Oracle Cloud 免费套餐 TriLM 3.9B ternary TQ2_0 1.1 GB 总 RAM ~10 tok/s Apple M3 Pro（6 线程） Qwen2.5-1.5B Q4_K_M plain 52 tok/s 共享 Contabo VPS（18 个超额配置 vCPUs） 1.5B + 0.5B draft speculative，87% 接受率 3.2× 提升 共享 Contabo VPS TinyLlama 1.1B 热磁盘缓存与冷磁盘缓存相比 4.8× 端到端 Apple M3 Pro Qwen2.5-1.5B 重写任务上的提示查找 1.44× Apple M3 Pro TinyLlama，3 个并发用户交错与串行相比 1.6× Apple M3 Pro Qwen2.5-1.5B，重复请求存档推测（palimpsest） 2.3×（22→