盆景 27B (1-bit LLM):首个可在手机上运行的27B级模型
今天,我们宣布盆景 27B,基于 Qwen3.6 27B,这是一款新的多模态旗舰模型,也是首个在手机上运行的同类能力模型。我们之前的发布证明了具有1-bit和三元权重的模型可以产生商业上有用的语言模型。盆景 27B 将这一前沿扩展到新的能力层次:多步骤推理、结构化工具调用、视觉任务,以及在多个步骤中保持连贯性的计算机使用代理循环。直到今天,局部部署这一层次因一个具体原因变得不切实际:27B 模型在16位精度下约占54GB,而即使是一个优秀的4位构建(18GB)对手机和大多数笔记本电脑来说也太大。盆景 27B 改变了这一点。它有两个变体:三元盆景 27B 使用三元{−1, 0, +1} 权重与 FP16 分组缩放,提供每个权重真正的 1.71 有效位数。它的尺寸为5.9 GB,是面向质量的变体:它可以在普通笔记本电脑上运行,具备完整的推理、工具调用和代理能力。1-bit 盆景 27B 使用二元{−1, +1} 权重,采用相同的分组缩放,提供每个权重1.125有效位数。它的尺寸为3.9 GB,是面向占用空间的变体,适合iPhone 17 Pro的内存预算,使27B级模型首次以手机形式出现。与每个盆景发布一样,低位表示在语言网络、嵌入、注意力、MLP和语言模型头部的端到端运行,没有更高精度的逃生舱。两个变体都是多模态的,视觉塔以紧凑的4位形式交付,因此设备内的工作流可以查看屏幕截图、文档和相机输入,而不仅仅是文本。盆景 27B 载有完整的262K代币上下文,并支持推测解码,通过无损的草稿和验证加速来增加速度。所有内容今天都在Apache 2.0许可证下发布。保留智能 在跨越知识、推理、数学、编码、遵循指令、工具调用和视觉的15项基准测试中(在思维模式下评估,模型的完整推理得到充分发挥),三元盆景 27B 保持了95%的全精度基线,而1-bit 盆景 27B 保持了90%。类别(基准)Qwen 3.6 27B 三元盆景 27B 1-bit 盆景 27B 数学(GSM8K,MATH-500,AIME25,AIME26)95.3 93.4 91.7 编码(HumanEval+,MBPP+,LiveCodeBench)88.7 86.0 81.9 代理和工具调用(BFCL v3,TauBench)80.0 74.0 66.0 遵循指令(IFEval,IFBench)78.4 71.8 65.8 知识 / STEM(MMLU-Redux,MuSR)83.1 77.0 73.4 视觉(MMMU Pro,OCRBench)72.6 65.2 59.6 总体(15个基准)85.0 80.5 76.1 图 I:盆景 27B(思维模式)与全精度基线的基准得分。每个基准的完整结果见白皮书。 按能力阅读表格,故事的清晰度比平均值更高:数学和编码几乎未受影响,工具调用的得分比全精度低几个点——正是代理工作负载依赖的能力。作比较,最激进的常规模型的低位构建得分显著低于1-bit 盆景 27B,同时占用的内存多出2.5倍。这是我们以前在语言和图像模型中展示的相同帕累托转换,现在在27B规模上:27B级能力的占用空间小于全精度的2B模型。按智能密度计算——我们在1-bit 盆景 8B中引入的测量,1-bit 盆景 27B 每GB提供0.53:比全精度基线高出10倍以上,约为可用最佳低位替代方案的2.7倍。图 II:与相同参数类别的其他模型相比,盆景 27B 的智能密度(每GB)。 为什么这是一个重要的范式转变 最有价值的AI工作负载正在从单一响应转向持续工作:操作实际工具的助手、在返回结果之前无人值守运行的工作流程,以及合成数十篇文档的研究。这一转变改变了工作负载的形态——一个代理并不是进行一次模型调用,而是进行数百次,每一次都携带上下文,产生结构化输出并为下一个提供输入。云API 对于许多产品仍然是正确的选择。但是对于代理工作负载,仅依赖云执行会带来结构性限制:每一步都是远程请求,每个标记的成本在每次迭代中累积,每个计划、工具调用和中间结果都跨越网络,包括用户的私有文件、屏幕和数据。旋转木马 I:借助我们基于 NVIDIA GeForce RTX 5090 的三元盆景 27B 模型,进行端到端代理工作流。 本地执行改变了这一方程。当一个能够持续进行代理工作的模型适配在设备上,代理可以存在于产品内部:一百步循环的边际成本为零,用户的数据永远不会离开机器。整个类别随之开放——持久的设备内代理、离线工作的助手、构建上通过私有本地数据推理的助手。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡