多智能体自我监督 通过集体智能进行递归自我改进 为了超越人类积累的知识，人工智能自身（优化对象）也可能是其最好的优化器和评估者。MASS反复优化多智能体工作流程，然后从多智能体系统中提炼集体智能，并将其用作RSI的自我监督信号。它在研究基准上改善了每个输出标记的得分，超过了基础模型。我们希望MASS能为人工智能的奥德赛时刻做出贡献：在优化对象是评估者、优化器是优化对象的环境中持续自我学习。 估计阅读时间：15分钟 † 此项工作是在Sakana AI实习期间完成的。 图1. 从共享工作到共享知识。 此版画展示了排版、印刷和校对作为协调过程的一部分。书籍将结果带出工作坊，让其他人从中学习并加以利用。 MASS借鉴了一个相关的思想：团队的集体工作可以为其成员共享的模型提供训练示例。 Jan Collaert I, 追随Stradanus, 《书籍印刷的发明》，约1600年。大都会艺术博物馆，哈里斯·布里斯班·迪克基金，1934年。公共领域（CC0）。 我们希望前沿的人工智能模型将我们带到人类几代积累知识之外。在那个前沿，即使是人类专家也可能很难评估结果并指导进一步的进展，尤其是在不可验证的任务上。例如，评估一个提议的发现可能需要稀缺的专业知识、昂贵的证据或需要比生成提议更长时间的实验。模型本身可能不可避免地成为唯一可用的最能干的监督者，并需要自己找出如何改进。这激励了同质递归自我改进（RSI），其中被改进的模型（优化对象）也充当自己的优化器和评估者。核心问题是如何在这个同质循环中获得有用的自我监督。 人类社会为解决这个问题提供了一个有用的类比。在觅食社区、农业定居点、工业社会和全球信息网络中，人们部分通过划分工作、结合思想和传递他们所学习的来扩展他们的能力。集体成就成为进一步学习的起点。在《科学革命的结构》中，托马斯·库恩强调了科学家通过共享例子学习识别和解决问题。因此，科学共同体的成就也成为其成员学习新工作的组成部分。受到这种模式的启发，我们询问模型是否可以从自己团队的集体智能中学习，而单独工作的智能体可能无法可靠地展示这些智能。我们引入多智能体自我监督（MASS）将这一思想转化为学习循环。MASS使用相同的模型作为执行者、优化器和评估者。优化器首先根据评估者的反馈寻找最佳团队工作流程，然后在自我评估的最佳团队的执行结果上训练执行者。更新后的模型则填补所有三个角色，过程不断重复。因此，MASS通过将团队的集体经验提炼成共享模型，为RSI提供了自我监督信号。 同质RSI 我们研究同质RSI，其中一个共享语言模型作为任务解决代理、工作流优化器和评估者： 代理：任务解决者或优化对象。生成包含结果、描图和研究报告的工作区。 工作流优化器：使用评估者的反馈修正智能体如何划分任务、交换结果并检查彼此的工作。 评估者：比较两个工作区，选择哪个更好地满足任务，并解释判断。 我们使用不可验证的研究任务作为训练数据。我们使用不可验证的意思是没有自动规则基础信号，只有自我评估信号（其正确性未知）指导整体学习循环。为了衡量进展，我们分别要求GPT-5.5和Claude Opus 4.8评估完成的工作。他们的判断对MASS是不公开的。这为我们提供了自我监督来自模型本身的过程中的改进的外部衡量。 MASS如何工作 MASS利用工作流优化来引出集体智能，随后将团队的经验提炼成共享模型。内循环优化团队的工作流程，同时模型权重保持不变。模型自我评估并判断哪些工作流程是最优的。外循环随后通过学习优化工作流的执行来更新那些权重。下面的互动图表展示了两个循环。 内循环 进化团队 第1轮 · 第1次迭代 · 决胜者：— 多智能体执行代理共享一个模型 调度者 1 2 3 子智能体 自我评估者判断工作区✓ 新的决胜者 自我优化者重写工作流 工作流 v1 跳跃 1 2 3 角色 角色 角色 指令 指令 指令