在单个 5090 上以 255 tok/s 运行 Qwen3.8
Hacker News2026年10月13日 22:31
满足您推理需求的任务专用开放模型。我们采用最新的开源模型，通过一系列后期训练、量化和内核专门化技术，使其在本地硬件上快速运行。DeepSeek-V4.1-Flash-Ternary - 推荐硬件：4x RTX6000 - 4 个用户，总共 276 tok/sec - 用于复杂编码和研究 Qwen3.8-Flash-Next-NVFP4 - 推荐硬件：1x RTX6000 - 4 个用户，总共 334 tok/sec - 用于编码和日常任务，配合 Goethe 框架：~ git clone https://github.com/meshapplied/goethe.git
赞助内容
本站免费、广告极少。如果觉得有帮助，可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡