可用日期：2026年7月27日 中微子家族的旗舰：36个解码层，后面是一个编码的三元家庭容器，服务于数据中心GPU、MacBook和桌面CPU，统一个工件。 2.56 GB 下载，无损 1/8 fp16 的位数 72.1 MMLU 763 tok/s 规范解码，H100 中微子-1 8B 概述 中微子-1 8B 是一个具有 81.9 亿参数的仅解码变换器，以一个 3.88 GB 的文件形式交付。它的252个变换器线性存储在专有的三元家庭权重格式中，大小为fp16的1/8；权重在静止状态下保持按位打包，并在矩阵内核中解码，因此在解码路径中没有用到fp16或fp32权重材料。小权重改变了服务经济学。单流解码受每个令牌移动的字节数的限制，因此3.88 GB 工作集的解码速度比同一内存系统上的16 GB fp16工件快，并且整个模型可以与其KV缓存一起适配于8 GB GPU或16 GB笔记本电脑。相同的容器无需转换即可为以下每个平台提供服务。 架构 一个密集的仅解码变换器。分组查询注意力保持KV缓存在查询宽度的1/4，fp16每个令牌144 KiB，因此4k令牌会话的缓存成本为0.60 GB，加上3.88 GB的权重。 基础模型 Apache-2.0，阿里云 Qwen3-8B 参数 6.95B 编码投影权重，1.24B int8 嵌入，0.3M 规范 8,190,735,360 解码层 36 隐藏宽度 4,096 前馈宽度门控（SwiGLU），每层三个线性 12,288 注意力分组查询 4:1，头宽 128 32个查询头，8个键值头 KV缓存 fp16；在4k上下文中0.60 GB，在32k时4.83 GB 每个令牌144 KiB 位置编码应用于整个128宽头旋转，基数1000000 标准化加上每头查询/键的RMSNorm 在注意力RMSNorm中，eps 1e-6 上下文长度 40,960个令牌 词汇表 151,936 嵌入 输入嵌入和输出头为独立张量不绑定 几何体从交付的容器头读取。 字节的位置 只有变换器线性携带编码格式。两个嵌入张量保持为int8，因为它们的行是一次读入一个令牌，而不是对整个激活流进行乘法运算，标准化权重过小不值得编码。文件的三分之一是词汇表。252个变换器线性编码三元家庭通道，占文件的67.2%：查询、键、值和输出投影，加上门控、上、下前馈线性，每层7个，每层72,351,744字节，总计2,605 MB 令牌嵌入 文件的32.1%：两个未绑定的int8张量，大小为151,936 × 4,096，输入嵌入和输出头，每行一个比例 1,245 MB 每行元数据 0.6%：行维度、比例和行和 25 MB 标准化权重 145个张量，保持为float32：每层四个加上最后的标准化 1.2 MB 容器头 60字节 3,875,404,812字节容器的字节预算，按张量类别。 在编码通道内部 在69.5B编码权重中，62.63%为零，剩余部分分为18.68%正和18.69%负：符号平衡到百分之一，没有约束要求。平衡在深度上并不均匀。门控和下前馈投影在第1至第3层的零值率高达70%至72%，而所有四个注意力投影在每个深度都保持在62%上下约1个百分点：早期的前馈模块扫除了网络不需要的权重，而注意力从第0层到第35层保持了恒定的代码密度。 门控 上 下 查询、键、值、输出 60% 65% 70% 0% 8% 16% 24% 35 60% 65% 70% 0% 8% 16% 24% 35 每个投影在所有36层中零编码权重的比例。 格式 一个容器，三个门。 下载是容器的编码传输，而不是压缩的fp16模型副本：它精确展开为每个运行时执行的文件，而该文件在数据中心GPU和笔记本电脑上运行。 下载编码传输，2,559,822,594字节；展开后精确为2.56 GB 在磁盘上一个容器，3,875,404,812字节 3.88 GB 分发表面 pip引擎在Apple M5上运行24.9 tok/s，仅CPU，9线程 一键门：pip install fermion-research 下载容器和平台匹配的本地二进制文件。 CPU运行时适用于macOS arm64和Linux x86-64，底下有一个逐位精确的torch参考路径。 GGUF包 + CUDA分支在NVIDIA L4上运行30.7 tok/s，4.68 GiB在4k上下文中 鹿角.cpp门：将容器转换为GGUF，使用我们的权重类型，由我们的公共鹿角.cpp分支加载。 运行鹿角-补全和鹿角-基准，完全CUDA卸载。 MLX包在基础M5 MacBook上运行33.7 tok/s Apple硅门：Python本地运行时，使用自定义Metal内核。容器被内存映射，压缩平面在GEMV内核内解码。 评估 发布电池在交付的容器上运行，思考功能被禁用，因此每个等级都是您下载的工件，而不是研究检查点。协议覆盖每一行：拍摄计数、评分模式和项目计数。 MMLU 5-shot，所有57个科目，14,042个i