iPhone 18神经引擎上的Qwen3.8-27B,速度为15-70 tok/s(1.5 bpw)
Hacker News2026年10月17日 18:10
Anemll @anemll 12小时前,iPhone 18上的Qwen 3.8-27B,搭载Apple神经引擎。新增草稿模型dflash-2,速度约为2.8 bpw(混合2-4向量量化,接受率略有下降)。基础是@PrismML的Bonsai-2,从1.585 bpw重量化到1.5 bpw(VQ每4个权重6位)。解码速度为15-60 tps。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡