Gemma-4-26B-A4B 在相同精确度下思考减少 39-69%
TL;DR 这是 ThinkingCap 系列的第五个模型。我们减少了 Google 的 gemma-4-26B-A4B-it 思考的数量,而不影响其答案的质量。思考 tokens 平均减少 38.9%,在十二个基准测试中测量的减少幅度高达 69.1%,精确度成本只有 0.15pp。它是第一个应用于 Google 模型的 ThinkingCap,也是迄今为止任何 ThinkingCap 的最小精确度成本。循环部分从原始模型响应的 3.6% 降至我们的 0.8%。相同的采样设置(思考开启,温度 1.0,top_p 0.95),相同的服务栈(vLLM),可直接替换。ThinkingCap PRO:想要更高的效率?该模型的 PRO 版本使用的思考 tokens 减少了高达 87.6%,平均减少 62%。在规模上更快的答案和更低的推理成本。请通过 enterprise@bottlecapai.com 联系我们。我们的第五个 ThinkingCap 目前已发布了四个高效的 token 模型:ThinkingCap-Qwen3.6-27B、ThinkingCap-Qwen3.8-27B、ThinkingCap-NVIDIA-Nemotron-3.5-Lightning-30B-A3B 和 ThinkingCap: Qwen3.8-Flash-Next。gemma-4-26B-A4B 是 Google 的稀疏专家混合体——26B 参数,每个 token 有大约 4B 是活跃的。这是我们在 Qwen 和 NVIDIA 之后应用该技术的第三个模型系列。我们在这个模型上额外努力保持精确度不变:思考平均减少 38.9%,精确度损失仅为 0.15pp,这个损失小于大部分套件的运行差异。视频对比原始模型与 ThinkingCap 模型,使用相同的输入。两个模型都在相同的硬件上运行,并使用相同的推理设置。训练目标 我们从 gemma-4-26B-A4B-it 开始。目标是用更少的 tokens 得到答案,并且不改变其他任何东西:保持知识、推理能力、答案质量、遵循指令的能力和安全行为。结果 每个任务系列的精确度,gemma-4-26B-A4B-it 与 ThinkingCap 模型的比较。每个系列的精确度几乎没有变化,其中两个系列有所提高。遵循指令和代理精确度提升 0.65pp,数学提升 0.39pp;代码维持在 0.02pp,知识和推理损失 0.51pp,长上下文和多模态损失 0.92pp。平均在十二个基准测试中变化为 -0.15pp。每个任务系列的平均思考 tokens,gemma-4-26B-A4B-it 对比 ThinkingCap 模型。思考是变化的地方,并且每个系列的思考 tokens 都减少。长上下文和多模态减少最多,为 54.4%,其次是知识和推理 44.4%,数学 36.1% 和代码 27.6%;遵循指令和代理减少最少,为 17.2%。在十二个基准测试中平均下降为 38.9%。基准测试 精确度(基础) 精确度(我们的) Δ 精确度 平均思考 tokens Δ 平均思考 截断 % 循环 % 数学 aime26 86.20% ±0.86 86.72% ±0.98 +0.52pp 14766 → 8963 -39.3% 5.2 → 0.5% 5.5 → 0.9% hmmt_nov25 81.51% ±1.06 80.89% ±1.19 -0.62pp 16462 → 10542 -36.0% 9.0 → 1.2% 8.6 → 1.2% hmmt_feb26 72.92% ±1.08 74.20% ±1.16 +1.28pp 22005 → 14717 -33.1% 18.6 → 4.6% 17.0 → 4.5% 代码 livecodebench 76.98% ±0.56 76.96% ±0.67 -0.02pp 11560 → 8375 -27.6% 6.8 → 1.3% 2.2 → 0.3% 知识和推理 gpqa_diamond 79.92% ±0.57 78.96% ±0.67 -0.96pp 7699 → 4284 -44.4% 0.3 → 0.1% 0.3 → 0.1% mmlu_pro 84.55% ±0.29 84.64% ±0.16 +0.09pp 3907 → 1989 -49.1% 0.0 → 0.0% 0.1 → 0.0% mmmlu 84.09% ±0.26 83.43% ±0.27 -0.66pp 1212 → 731 -39.7% 0.0 → 0.0% 0.0 → 0.0% 长上下文和多模态 aa_lcr 64.62% ±2.49 60.62% ±2.89 -4.00pp 6519 → 2655 -59.3% 4.0 → 0.0% 3.6 → 0.4% longbench_v2 59.43% ±1.14 60.88% ±1.29 +1.45pp 9486 → 2934 -69.1% 7.7 → 0.5% 5.9 → 1.2% realworldqa 70.83% ±0.56 70.61% ±0.56 -0.21pp 819 → 533 -34.9% 0.0 → 0.0% 0.0 → 0.0% 遵循指令和代理 ifbench 76.83% ±0.80 78.67% ±0.73 +1.83pp 6470 → 5585 -13.7% 0.4 → 0.4% 0.5 → 0.5% tau2 64.25% ±0.97 63.73% ±1.26 -0.53pp 4374 → 3466 -20.8% 0.0 → 0.0% 0.0 → 0.0% 平均值(12 个基准测试) 75.18% 75.03% -0.15pp 8773 → 5398 -38.9% 4.35 → 0.72% 3.64 → 0.76% 每一行都是原始 BF16 与 ThinkingCap 模型的比较,在相同的设置和问题下运行。精确度是对多个种子的平均值,± 表示由它们之间的差异得出的 95% 置信区间。最后一行的每个单元格都是十二个基准测试的平均值,每个基准测试只计一次,因此 Δ 平均思考此处为十二个减少的平均值,而不是旁边两个 token 数字的比率,后者是 38.5%。同样的区分也适用于上述系列图表,绘制每个系列的平均 tokens。在 τ²-bench 中思考 tokens 是按任务计算,总和为回合的数量,而不是按响应计算。列定义在评估方法中。所有十二个系列都缩短了。最大的减少发生在 LongBench v2(−69.1%)、AA-LCR(−59.3%)和 MMLU-Pro(−49.1%);最小的减少是 IFBench(−13.7%)和 τ²-bench(−20.8%)。这两个较小的行是指令遵循和客户服务政策的应用,它们的工作最少涉及长时间思考。
阅读全文 →本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡