在32GB内存的笔记本上，Qwen3-Next-80B（48GB模型）的速度为37个token/s，未启用草稿的情况为24个token/s，其中的llama.cpp管理为2.8；读取提示的速度为62个token/s，16个token/s。与同一笔记本（Debian 13 Linux，Intel Core Ultra 9 185H，集成的Arc GPU，32GB，NVMe SSD；2026年10月9-11日）上比较的每个模型中，Janas-LLM的速度均快于llama.cpp：模型在读取1024个token时的速度：Janas-LLM，llama.cpp，写入：Janas-LLM，llama.cpp，Qwen3-Next-80B-A3B（48.4GB，超过内存）62 tok/s 16 tok/s 24 tok/s 2.8 tok/s。Qwen3-Coder-Next（48.4GB，超过内存）66 tok/s 14 tok/s 22 tok/s 2.2 tok/s。Qwen3.6-35B-A3B 104 tok/s 79 tok/s 19 tok/s 12 tok/s。Qwen3-30B-A3B 135 tok/s 122 tok/s 32 tok/s 15 tok/s。Gemma-4-26B-A4B-it 84 tok/s 76 tok/s 18 tok/s 12 tok/s。Gemma-4-12B-it 65 tok/s 46 tok/s 9.9 tok/s 7.1 tok/s。Qwen3.5-9B 111 tok/s 78 tok/s 14 tok/s 8.7 tok/s。Gemma-4-E4B-it 122 tok/s 109 tok/s 20 tok/s 15 tok/s。Qwen3-4B 193 tok/s 164 tok/s 27 tok/s 18 tok/s。Gemma-4-E2B-it 191 tok/s 150 tok/s 38 tok/s 19 tok/s。Qwen3.5-2B 441 tok/s 323 tok/s 52 tok/s 28 tok/s。Qwen3.5-0.8B 799 tok/s 519 tok/s 109 tok/s 32 tok/s。Qwen3-0.6B 939 tok/s 670 tok/s 130 tok/s 45 tok/s。来自其他提供者的相同模型，目录在它们旁边：模型读取1024个token：Janas-LLM，llama.cpp，写入：Janas-LLM，llama.cpp。Qwen3-30B-A3B，bartowski的Q4_K_M（重要性矩阵）131 tok/s 122 tok/s 32 tok/s 16 tok/s。Qwen3-30B-A3B，unsloth的UD-Q3_K_XL（3位）100 tok/s 112 tok/s 36 tok/s 11 tok/s。Qwen3-4B，bartowski的Q4_K_M（重要性矩阵）191 tok/s 160 tok/s 26 tok/s 18 tok/s。一个例外：3位的Qwen3-30B读取提示的速度比llama.cpp慢，因为其Q3_K权重尚未被转移到GPU的快速提示上；它的写入速度是它的三倍。测量方式和草稿的速度：现在的效果如何。在另一台机器上，数字会是其他的：janas-bench测量你自己的。试试在Linux x86-64（Ubuntu 22.04，Debian 12及更高版本）：curl -LO https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz，tar xf janas-linux-x86_64.tar.gz && cd janas，./janas-chat # 它知道的模型：选择一个，它会下载并检查。或者在Windows 10（1903或更高版本）和11，x86-64：下载janas-windows-x86_64.zip，解压缩，然后在其janas文件夹中的终端运行. janas-chat。在同一台笔记本下的Windows 11（2026年10月12日），Janas-LLM的写入速度与Linux相同（Qwen3-4B 25.6 tok/s，Qwen3-30B-A3B 34.2）和与混合速度相同（Qwen3-30B-A3B 132 tok/s），在稠密模型中速度快1.8倍（Qwen3-4B 346 tok/s，对比193），其整个块都传输到GPU，通过Intel的Windows驱动程序。在Hugging Face上，模型已经被转换；从源代码构建：开始使用。▄███████████▄ ▄███████████████▄ ███ ▄ █████ ▄ ███ ▄ J A N A S ███▄▄▄█████▄▄▄████ ▀█████▄▀▀▀▄█████▀ ▀ 一组人工智能工具，使用C语言编写，除了C库之外没有任何依赖。它的第一个组件，Janas-LLM，可以在普通计算机上运行大型专家混合语言模型，无论是否有GPU：权重保留在磁盘上，每个token所需的专家从NVMe SSD流式传输，持续返回的专家保留在内存中。一个包含80亿参数的模型在具有32GB内存的笔记本上运行并给出答案。设计和编写者：Maurizio "camauri" Cammalleri。⚠️ 请先阅读这一点这是一个实验，不是产品。阶段：早期开发。公共API和命令行会在不通知的情况下更改，并且每周已经更改了几次。模型的文件是例外：在Hugging Face发布的.jns文件（格式版本2）将被Janas-LLM的每个后续版本读取。稳定性未经过验证。该引擎故意对机器有很强的要求：它用自己的专家缓存填充空闲内存，并以全速读取磁盘，使用O_DIRECT。在一台空间不足的机器上，桌面可能会被推入交换区，并变得缓慢或无响应。使用GPU曾导致一次驱动程序重置，导致桌面也一起重置。数据它只写入~/.cache/janas（它对你的机器所学到的内容，以及它读取的系统消息，以避免再次读取）和你告诉它放置转换模型的位置。它不会触碰它读取的模型文件。硬件在一台机器（如下）上开发和运行。在其他任何设备上未经测试：它可能更慢，可能拒绝模型，可能会表现异常。如果出现问题，Ctrl-C停止回复，Ctrl-D退出聊天；--cache <GiB>对占用的内存设置硬限制，JANAS_GPU=0将其完全关闭在GPU上。它成长的机器在以下环境中编写和测量了该存储库中的所有内容：Linux Debian 13（trixie），x86-64，内核6.12.107；GPU驱动程序Mesa 26.1.6（Vulkan）；使用GCC 14.2编译，CPU为Intel Core Ultra 9 185H（6个性能核心，8个效率核心，2个...