返回

文章详情

Jeff – 兼容Jev的0.8B决策模型,在家训练,约30毫秒

Hacker News2026年9月28日 20:23

Qwen3.5和Gemma 4的微调用于零样本分类:小型、快速的决策模型,可以直接嵌入您的代码,使用与Jev相同的请求格式。您用简单的语言描述情况并列出选项;Jeff通过一次前向传递返回每个选项的校准概率。没有生成文本,没有解析:在RTX PRO 6000上每个决策约22毫秒,在Apple M4 Max (MLX)上约28毫秒。零样本意味着选项可以是任何东西:支持队列、用户意图、审核标签、语音命令、游戏动作。您的类别不需要出现在训练数据中;您只需描述它们,Jeff就会为您选择。这是什么,它又不是什么。这些模型非常小。它们在选项之间做出极快且经过良好校准的判断,并且可以轻松集成进您本地的代码。在基准测试中,它们能够接近并有时超过Jev;但在这个大小下,它们的推理不会与在更大模型上运行的Jev相匹配。如果零样本准确性不足以满足您的需求,在您自己的示例上进行短期微调会将您带得更远:我们的语音导航微调在不到半小时内将保留的准确率从31.7%提高到95.8%,只需一个GPU。完全在本地硬件上构建。在一台RTX PRO 6000工作站GPU上训练(0.8B模型训练约2小时,2B模型约3.5小时),使用由开放模型(Qwen3.8-Flash-Next)生成的所有合成训练数据,使用两台DGX Sparks进行测试,在MacBook上进行测试。没有云GPU,没有在训练数据中的闭源模型输出;仅使用闭源模型来抽查合成数据样本的质量。独立项目。Jeff使用与Jev相同的请求格式,但与Jev的开发者TypeSafe没有关联或认可。我们的训练代码基于开源的AutoJev配方。在Hugging Face上的模型:Jeff-Qwen3.5-0.8B · Jeff-Qwen3.5-2B · Jeff-Gemma4-E2B 快速启动 uv sync uv run hf download mstrasser/Jeff-Qwen3.5-0.8B --local-dir checkpoints/jeff-0.8b # NVIDIA GPU或CPU(PyTorch) JEFF_CHECKPOINT=checkpoints/jeff-0.8b PORT=8765 uv run jeff-serve # Apple silicon (MLX, 在Mac上速度更快;仅限Qwen模型) uv sync --extra mac JEFF_BACKEND=mlx JEFF_CHECKPOINT=checkpoints/jeff-0.8b PORT=8765 uv run jeff-serve curl -s localhost:8765/v1/systemone -H ' content-type: application/json ' -d ' {

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡