← 返回首页 2026年10月10日 https://github.com/OliverGrabner/multi-agent-poke-showdown 观看团队聊天中的战斗 未来在于LLM的协作，理解优秀代理如何共同工作、沟通和协商行动是非常重要的。大多数多代理研究关注工作流，即代理在管道中传递任务（Hong等，2024；Qian等，2024）。为了测试这一点，我在宝可梦对决的2对2格式中构建了多代理环境，以评估这些能力。 Qwen3.8-27B - 玩家1 “两个对手都是水属性……所以我的火属性招式都会被抗性……我计划对Dondozo使用致盲……能否先用假招让其中一个电晕？” Qwen3.8-27B - 玩家2 “很好的建议对Dondozo使用致盲。不过快纠正一下——格斗属性实际上并不被水或地面抗性，所以我的近身战斗对两个都是中立（1x）……锁定假招→Whiscash。” Qwen3.8-27B - 玩家1选择了致盲→对方Dondozo（p4） Qwen3.8-27B - 玩家2选择了假招→对方Whiscash（p2） 真正战斗的第一回合是两个Qwen3.8-27B队友之间的对决（摘录）。他们分别选择目标，而且一个在确认之前纠正了另一个人的属性配对错误。观看完整的团队聊天战斗。 为什么选择宝可梦？宝可梦双打是一个没有完全信息的博弈论环境。对手的设置是隐藏的，伤害是随机的，因此取胜需要真正的策略：读取对方团队、分配目标并围绕你的伙伴规划。最近的工作，比如PokéAgent挑战（Karten等，2026），为宝可梦战斗提供了基准，但每一方都是由单一代理进行的，而专门的强化学习代理在这里仍然超越了通用的LLM。它没有测试需要协调的队友。目标是创建一个可控环境，以便我可以测量LLM代理的协调能力，并且可以用强化学习来训练他们，以鼓励这些协作行为。 方法论 环境 官方的宝可梦对决模拟器，封装为Gym风格的环境。 四名玩家每人控制三只宝可梦中的一只，每方两只。 代理 每回合，代理会读取战斗的普通英文摘要和一份它的合法招式的编号列表。它可以对其伙伴发送私信或选择一个招式，一旦选择，它的伙伴会被告知它选择了什么。 交流模式 自由交流（继续交流直到双方都已选择），每人一条消息，无交流和一个模型控制两个宝可梦。 评估 Qwen3.8-27B让两个队友对抗一个脚本化的最大伤害机器人。战斗是有种子的，每个团队组合将从两个方面进行，所以每个交流模式面临的战斗都是完全相同的。 结果 在与最大伤害机器人基线的交流条件下的胜率 条件 30% 50% 70% 每场战斗的令牌 自由交流 64% 978k 一个模型控制两个 54% 450k 每人一条消息 52% 654k 无交流 42% 交流是有帮助的。能够自由交流的队友在与最大伤害机器人的战斗中胜率为64%，而不能说话的队友胜率为42%。即使每人仅发送一条消息（52%）也打败了无交流。一个模型控制两个宝可梦（54%）的表现优于无交流，但逊色于两个代理自由交流，因此我认为这种提升来自于交流本身，而不仅仅是一个心智同时规划两个行动。 交流也有成本。自由交流每场战斗使用了978k的提示令牌，是无交流259k的3.8倍，因为每条消息意味着另一次模型调用，需要重新读取当前战斗和迄今为止的对话。 Qwen3.8-27B团队在自由交流下与对手的胜率 Qwen3.5-2B团队 96% Qwen3.5-9B团队 74% 最大伤害机器人 64% 我还检查了环境是否能够区分模型。Qwen3.8-27B团队在与2B模型团队的战斗中以96%的胜率获胜，在与9B模型团队的战斗中胜率为74%，与最大伤害机器人的对抗胜率为64%。对手越强，比赛越接近，这使得环境可以作为比较模型的基准。 接下来，我将把说话的效果与看到伙伴行动的效果分开。我还在研究将环境转变为具有模型排行榜的基准，并利用它进行强化学习训练，以鼓励协作行为。 感谢 通过这个项目，我想了解更多关于代理协作和强化学习环境的内容，并想分享这些结果！我在德克萨斯A&M大学的Grace集群上进行这些实验。感谢Maria Teleki和我的导师James Caverlee教授在过程中提供的指导和反馈。 观看战斗 ← 返回首页