大多数GPU速度声明是一个tok/s的数字。这个数字可能是正确的，却仍然讲述了错误的故事。三种失效模式，每一种命令：同一个Qwen3.5-9B的四种量化，均标记为Q4_K_M，测得每个权重5.02、5.02、5.07和5.27位（量化标签）。在同一个模型和文件中，GPU成本预填充损失22倍而解码低于2倍（三个通道）。我记得的36 tok/s在没有单元的32单元矩阵中重新生成（静默CPU回退）。picchio分割预填充、解码和响应时间，读取引擎的日志与操作系统的GPU计量器进行比较，并打印出结果，说明GPU是否完成了工作，以及原因。安装 curl -fsSLO https://raw.githubusercontent.com/logxio/picchio/main/picchio.py python3 picchio.py。没有参数时，它会找到您的模型（ollama标签，当前文件夹，HF和LM Studio缓存），并运行您选择的模型。一个.gguf路径获得完整的llama.cpp诊断；一个ollama标签则获得测量模式。需要python3和llama.cpp或ollama。用固定提示进行三次传递，第一次是冷启动。大约一分钟在GPU运行时，几分钟在CPU上。它将在~/.cache/picchio下写入一个缓存文件，没别的。python3 picchio.py --selftest重放examples/raw中的原始引擎日志，必须逐行重现每个提交的结果块；徽章在每次推送时都运行。命令在表格中，picchio代表python3 picchio.py。命令 执行内容 实际输出 picchio model.gguf 完整的llama.cpp诊断：三次传递、放置、冷启动拆解、结果示例 picchio qwen3.5:9b 在您的本地ollama服务器上通过相同的传递，放置来自它报告的内存拆分示例 picchio http://127.0.0.1:8080 测量已经运行的llama服务器，什么也没启动，仅温暖行示例 picchio guard -- <command> 包装您自己的命令，在层一次离开GPU时发出警告，从不终止它示例 picchio compare A.txt B.txt 差异两个已保存的块，按变量比较，第一个配置差异承担责任示例 picchio verify FILE 标记自己数值相互矛盾的粘贴块示例 picchio watch [PID] 将操作系统GPU计量器指向一个进程或整个GPU，不解析引擎日志（macOS）示例 picchio plan [MODEL] 是否适合，从gguf头部定价；一旦测量了一个运行，就会出现解码估计示例 picchio id MODEL 拆分量化标签：每个张量类型混合、每个权重的有效位、KV数据类型、专家示例 picchio --explain 36 对您在这里看到的数字进行分类（缓存率，无需重新运行）示例 picchio model.gguf --ctx-sweep 在几个上下文深度重新测量通道，并报告衰减斜率示例 watch 与实际工作并行运行，不启动也不卸载；--for是采样窗口（以秒为单位），--engine ollama 指定被评估的模型：python3 picchio.py watch --engine ollama --for 8 --passes N 测量传递，第一次是冷启动（默认3）--keep-logs DIR 将每个传递的原始引擎输出保存到DIR中，并在macOS上和NVIDIA Linux上加上采样的GPU曲线（telemetry.json）--no-telemetry 跳过操作系统侧GPU采样；那么操作系统行则表示结果仅基于引擎和时间--json 机器可读的块后测量--bin PATH 自行选择llama.cpp二进制文件--selftest 重放examples/raw，验证提交的结果重现--version 打印版本和测量协议 任何裸露--后面的内容直接传递给llama.cpp二进制文件。仅在终端中显示颜色（尊重NO_COLOR）；管道输出为纯ASCII。退出代码，用于脚本编写：0 表示健康或没有证据，2 表示无法运行，3 表示部分卸载，4 表示静默CPU回退，5 表示证据冲突。guard将包装命令的自己的退出代码传递（128加上信号编号，如果它因某种原因死掉）；compare在两个块解析时退出0；verify在块自洽时退出0，源冲突时为5；watch在GPU工作时退出0，当其空闲时退出4。量化标签picchio id MODEL遍历gguf张量表，并按其ggml类型为每个张量定价。我们自己的Q4_K_M测得每个权重5.07位，比名称中的4高出27%：是从4.50到32.00位的五种张量类型的混合，且报头的字节偏移量必须审计到相同的总量，才能在卡上打印。相同的Qwen3.5-9B在相同的Q4_K_M标签下通过四种量化器测得5.02、5.02、5.07和5.27位每个权重，在四个文件共享的427个张量上（examples/quantizers/）。该标签甚至没有承诺相同的张量集：一个量化器在q8_0内将243M参数的MTP头运送在主文件中，另一个则将相同的头作为单独的库运送。KV缓存数据类型不在文件中；该卡引用此处测量的最后一次运行。在专家的混合上，它报告每个token唤醒多少专家（examples/id-35b.txt读取256的8，大约34.7B权重每token的3.5B）。可以在.gguf路径或ollama标签上工作，只读，0退出。三条通道预填充（其他地方