返回

文章详情

架构工具在 Arc-AGI-3 公共集合上达到 ~99%

Hacker News2026年7月16日 15:29

ARC-AGI-3 给出一个游戏环境,代理在没有关于所见内容解释的情况下进行操作。在每一步,代理会接收到一个 64×64 的 16 种颜色索引的网格以及一组合法动作。环境不提供任何物体列表、规则说明、明确目标或奖励结构。只有一种方式可以取得进展:物理学家的方式。代理必须在其对游戏的模型仍然是暂时的情况下采取行动,形成关于网格所代表的内容、动作如何改变它及成功标准的假设,然后随着新观察的到来修正其模型和计划。ARC-AGI-3 对于前沿模型来说非常难以应对。其官方指标——相对人类行动效率(RHAE)——将代理的每个关卡行动计数与首次接触的人的基线进行比较,并在多个环境中汇总结果;100% 意味着在或高于人类基线行动效率的情况下完成每个环境的每个关卡。在半私人集合中,经过验证的前沿模型性能从3月份的启动时的 0.51% 上升至7月份的 GPT-5.6 Sol 最大推理时的 7.78%。Sol 在公共集合上也得分 13.33%,但仍远低于人类参考。验证:经过验证的自我报告评估集:公共 半私人集合 图 1. 截至 2026 年 7 月报告的 ARC-AGI-3 RHAE 结果。填充标记表示 ARC 奖验证的评估;空心标记表示公共集合上的自我报告评估。品红色标识架构(Schema)。这两个架构的结果都是自我报告的,未经过 ARC 奖验证。我们今天介绍的架构工具,在使用 Claude Opus 4.8 和 Fable 5 时,在 ARC-AGI-3 公共集合上达到了 99%,使用 GPT-5.6 Sol 时达到了 95.35%。它不改变基础模型的权重。而是改变了围绕它们的过程:观察如何转化为一个工作模型,如何测试预测与交互历史的关系,以及如何执行和修订计划。两个分数来自一个固定的回退规则:Opus 4.8 和 Sol xhigh 先运行;分数低于 80 的游戏将分别使用 Fable 5 和 Sol max 重新运行,并保留更高的每个游戏分数。重点:使用模型的方式影响很大。本帖其余部分将展示安排。架构工具像一个物理学家一样思考。在物理学家能够写下法则之前,他们必须决定法则是关于什么的。观察的哪些部分是物体?哪些属性定义状态?只有这样,他们才能询问该状态如何变化。架构工具将这些问题形式化为两个问题。状态基础将原始观察转化为可以追踪的对象、变量和关系。机制发现找出该状态在动作下如何变化,并将这个规则写为可执行的程序。我们早期的系统 VIGA 专注于第一个问题。通过与图形引擎的分析合成,它从比 ARC 网格丰富得多的连续视觉输入中恢复场景程序。其他系统如 WorldCoder 则专注于第二个:它们从轨迹中学习转换程序,但从已经结构化的状态表示开始。我们相信这两个问题必须共同解决,代理必须同时构建状态表示和转换规则。 LEVEL 2 · 机制发现 WorldCoder(状态,动作,状态′)→ 转换程序 step() 世界如何在时刻之间移动——作为程序编写的规则。每个游戏都隐藏着这样的机制:弹簧墙、加油圈、颜色旋转器 LEVEL 1 · 状态基础 VIGA 观察 → 状态程序 世界是什么——对象、数量、名称,从原始像素中发明出来。没有任何规则说明哪些像素算作玩家、墙壁或计数器。 玩家?计数器?[架构工具] 解决这两个层次的问题,联合在一个可编辑的程序中。图 2. 两个抽象层次。第 1 层发明状态——哪些像素构成玩家、墙壁或计数器。第 2 层在该状态上恢复机制,例如上面的弹簧墙、加油圈和颜色旋转器。架构工具将两者整合在一个可编辑的程序中:当一个规则不再与实验一致时,反例可以指责表示本身。状态基础和机制发现不能独立解决。看似合理的状态表示在没有一致转换规则能够解释后续实验结果时可能会被证明不充分。在架构工具中,状态表示和转换规则共同编码在同一个可编辑程序中。当观察与预测矛盾时,代理可以修正表示或规则,然后更新另一方以恢复一致模型。这反映了物理学家的工作方式:当预测持续失败时,他们不仅仅调整法则。他们改变状态是什么。最干净的案例是狭义相对论的诞生。当迈克尔逊和莫雷无法检测出光波所应波动的介质时,洛伦兹采取了第一条道路:保持以太,修补规则,运用收缩假设吸收了 null 结果。

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡