返回

文章详情

五个 Qwen3.8-27B 模型超越 Fable 5,使用 GVS5H 框架

Hacker News2026年10月25日 03:56

GVS5H:大猩猩与 5 个人的对比结果,Opus 5 在早期版本的框架上运行,通过 OpenRouter 的单次传递,而不是在固定后端上进行五次传递。摘要。前沿编码性能通常以高成本购买更大的专有模型。我们引入基于账本的零样本自我编排,这是一种无需训练的方法,其中一个模型的新实例分解问题,通过一个共享的文件系统进行协调,保存计划、笔记和当前解决方案。在 100 个最新的硬 LiveCodeBench 问题上,跨越 11 个开放和闭合权重模型,该方法在固定后端上可获得高达 25.6 个百分点的收益,并提供两条通往前沿级别准确性的路线。编排的 Qwen3.8 Flash Next 在成本的 9% 下,达到了 93.0% 的 pass@1,相比之下 Fable 5 为 90.4%,而本地服务的开放权重 Qwen3.8-27B 从 66.8% 上升到 92.4%。收益并非普遍存在:某些模型没有变化或变得更差。成绩单分析将收益归因于分解和持久上下文。推理时的组织可以在成本的一小部分内接近前沿编码准确性,或在可自托管的权重上轻微超出。— 论文 运行代码需要 uv 和所要测试模型的 API 密钥。cd codebase/v2-current export OPENAI_API_KEY=... LCB_RELEASE=release_v6 \ ESCALATION_CLOUD_MAX_TOKENS=128000 \ ESCALATION_CLOUD_TIMEOUT=7200 \ MULTIAGENT_MODEL=openai:gpt-5.6-terra \ uv run --no-project --python 3.12 --with ' datasets<4 ' --with numpy --with anthropic \ python escalation/run_bench.py --engine multiagent --only lcb --lcb 100 --parallel 8 --engine multiagent 运行管理器; --engine single 是单次调用基准。其他模型:anthropic:<model> , dashscope:<model> , openrouter:<model> , 各自拥有自己的 *_API_KEY 。pass@1 分数在最后打印。结果写入 runs/results.json ,工作空间写入 runs/ws/ 。许可证代码在 MIT 许可证下。论文、图表和运行数据在 CC BY 4.0 之下。LiveCodeBench 分支、基准问题陈述和 LaTeX 模板文件各自保持自己的许可证。有关哪些许可证涵盖哪些路径,请参见 NOTICE.md。

阅读全文 →

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡