TL;DR StarSkirmish 是一个基准测试，LLM 为星际争霸：母巢之战 编写机器人。每个 LLM 有一小时的时间来用 C++ 编写一个普罗托斯机器人，然后与其他 LLM 的机器人和已建立的人类编写的机器人进行评估。StarSkirmish 测试长远推理和主动编码，因为 LLM 必须将练习游戏中的经验融入其星际争霸机器人中以进行改进。StarSkirmish Bench 评估每个 LLM 在 1 小时的时间内可以写出多强大的星际争霸机器人。v0.2 更新了 StarSkirmish Bench v0.1，包含 OpenAI、Anthropic、Google 和 Meta 的旗舰模型，每个模型在各自实验室的第一方 CLI 环境下运行。一个 LLM 的得分反映了它在与一组竞争的人类编写的机器人及演示机器人对战中的胜率。StarSkirmish Bench v0.2 的 1 小时运行，使用其第一方 CLI 环境。每个模型的 5 次对战的平均胜率（0–100）被用于计算与竞争性人类编写的机器人的胜率。双子座 4 氩气的运行强度非常高，这是它可用的最高推理努力；其他模型都在最大范围内运行。GPT-6 Astra 是 StarSkirmish Bench v0.2 中得分最高的 LLM，明显领先于第二名的 GPT-6.1 Sol。双子座 4 氩气、Claude Opus 5.5 和 Claude Fable 5.1 在其后几乎平分秋色，得分在 37 到 39 之间。StarSkirmish Bench 与成本比较 StarSkirmish Bench 得分与一次 1 小时运行的平均 API 成本进行比较。成本采用对数比例。Muse Wonder Full 的定价基于 Muse Wonder 的 API 定价。GPT-6.1 Sol 提供了独特的好价值：它是唯一位于最具吸引力象限的 LLM，排名第二的成本仅为 GPT-6 Astra 每次运行成本的十分之一。没有饱和迹象 最强的人类编写的机器人仍然远超每个模型。与 Stardust、PurpleWave 和 BananaBrain 对战时，最佳模型 GPT-6 Astra 仅赢得 7% 的比赛。与顶级人类编写的机器人的胜率 每个模型的 5 个机器人对顶级人类编写机器人 Stardust、PurpleWave 和 BananaBrain 的平均胜率。1 小时的推理限制是一个因素，但这些比赛是在三个 2 玩家地图上进行的。真正的人类编写机器人锦标赛条件要困难得多。新 AI 模型亮点 Google 和 Meta 的新旗舰取代了 v0.1 的双子座 3.8 闪电和 Muse Spark 1.3：双子座 4 氩气排名第三，而 Muse Wonder Full 排名第七。GPT-6 Astra 与 Claude Opus 5.5 在 v0.1 中有介绍。AI 模型行为 每次运行的代理踪迹记录了其如何利用这一小时。一个模型得分的最强预测因素是它与排行榜上 7 个最强机器人的对战次数。与强机器人的练习胜率 StarSkirmish Bench 得分与模型在这一小时内玩过的与 7 个最强排行榜机器人对战的练习游戏数量。虚线是 9 个模型的线性拟合。GPT-6 Astra、GPT-6.1 Sol 和双子座 4 氩气在这一小时内早早开始与这些机器人对局，尽管它们自己的机器人仍然输给了它们。Muse Wonder Full、Claude Haiku 5.5 和 GPT-6 Luna 很少或者从不这样做。Claude Fable 5.1 是个例外：它在几乎完全对抗较弱机器人时得分 37。运行到运行的方差 每个模型的 5 次运行的胜率。每个点代表一次运行的最终机器人；线段从最低到最高运行，条形图标记它们的均值（模型的基准得分），带状图表示一个标准差 (σ)。不同模型的同一次运行结果也会有所不同。双子座 4 氩气的变化远大于其他实验室的旗舰：它的最佳和最差运行相差 18 分，而 GPT-6 Astra 和 Claude Opus 5.5 的相差为 9 和 8 分。实施细节 目标 每个 LLM 在 C++ 中编写一款面向 BWAPI 4.4.0 的普罗托斯机器人，在 OpenBW 上进行游戏。游戏是普罗托斯对普罗托斯，在三个梯级地图上进行：Heartbreak Ridge、Benzene 和 Destination。游戏在一方建筑物被完全摧毁时结束。超过 60 分钟限制（86,400 帧）的游戏根据 BASIL 梯级进行判定：更高的击杀 + 摧毁分数获胜。LLM 从仅能开采的骨架机器人开始，并拥有三个演示机器人的源代码和两个标准机器人库：FAP（战斗模拟器）和 BWEM（地图分析器）。在小时结束时，它的机器人文件夹中的内容是最终机器人，因此必须保持机器人编译。LLM 拥有编译其机器人的工具，进行练习游戏，并读取每场比赛的总结、转录和其机器人的日志记录。练习对手分为多个级别：D（三个演示机器人）、C 和 B（每个级别有三个中级人类编写的机器人）、A（BananaBrain、Locutus）和 S（Stardust、PurpleWave）。锦标赛设置 LLM 机器人 对手 游戏 每对的游戏数 每个模型的 5 个最终机器人与 13 个排名机器人的 10 个竞争性人类编写机器人和 3 个演示机器人进行对战，每个地图 6 次，在新的种子上。与 v0.1 不同，LLM 机器人不再互相对战。工具和推理 StarSkirmish Bench v0.1 以 '高' 推理运行每个模型。v0.2 在每个模型的实验室的第一方 CLI 环境中以其提供的最高推理设置运行每个模型。v0.1 所有模型都在一个中立的第三方工具中运行；v0.2 则在每个实验室的模型中运行。