目前AI行业的最大承诺是，AI将很快能自我改进，几乎不需要人类的监督。大型语言模型（LLMs）已经能够编写代码、生成用于训练的合成数据，并优化其运行的计算机芯片。对于AI进展爆炸性增长的预测显示，研究人员所称的递归自我改进即将在眼前。然而，一项新的研究表明，我们可能需要一些时间才能达到这一目标。此项研究的研究人员发现，AI代理尚不具备开展开放式的AI研究的能力——这些自由形式的研究没有明确的答案，需要判断和品味，这可能是构建自我改进AI的核心。一个由普林斯顿大学的彼得·基尔吉斯和萨亚什·卡普尔领导的多机构研究小组发现，AI代理可以解决进行AI研究所需的工程问题，但缺乏创造力和判断力，以产生足够水平的原始研究论文，达到顶级机器学习会议接受的标准。这一差距表明，一些被大肆宣传的自动化AI研究的时间表可能走在了证据之前。现有关于代理如何自动化AI研究的研究大多评估它们完成具有可检查答案的狭窄任务的能力，比如解决工程问题或在基准上对经过训练的小语言模型进行测试。但在AI研究中取得进展还需要开放式思维——选择一组假设，决定什么证据能够解决问题，或者知道何时需要重头再来。为了测试代理在这些技能上的表现，这项研究的研究人员提出了一种新的评估方法，称为“阴影评估”，要求AI回答一篇高质量未发表论文中的研究问题。研究人员让Anthropic的Claude Opus 4.8使用开源软件OpenClaw来处理这些问题，这些问题来自两篇投稿于2026年著名机器学习会议NeurIPS的论文。第一个问题是大型语言模型的“角色”，即决定其行为的因素，是否可以通过编辑模型的权重（储存其训练过程中学习的一切的数十亿个数字）来控制。第二个问题是如何设计一个检测器，指出基于电子表格数据的模型在何时变得不可靠。由于这些论文未公开，代理无法从其训练数据中记住答案或在线找到答案。代理被给予六天时间、3000美元的Anthropic API信用、用于运行实验的GPU预算、自有虚拟计算机以及访问开放网络，以生成一篇足够在顶级AI会议上发表的研究论文。论文的原作者像评估提交会议的论文那样评估了代理的论文。那些作者均拒绝了这两篇论文。人类科学家发现，这些代理能够完成开展研究所需的所有工程工作。代理查阅文献，进行了数百个实验，并整理结果。“另一方面，代理在进行实际研究时毫无疑问表现得很差，”卡普尔说。他们进行了奇怪的实验（在某些情况下用微小的合成数据集测试假设），在撰写关于自己工作的内容时艰难，且未能对其领域做出任何新颖的贡献。“在质量上，论文距离顶级AI会议的标准相去甚远，”他说。这是因为这些代理在进行研究时很难表现出创造力和判断力。他们没有足够地探索不同的想法，过早地放弃了承诺不大的方法。尽管代理们发展出了类似于原作者自己当初所提出的新颖且雄心勃勃的假设，但他们却基于非常有限的数据拒绝了这些假设。而且，他们无法从失败的方法中后退。他们能够进行小的调整，但无法从根本上重新思考自己的方法或从头尝试新的方法。代理还未能吸收来自子代理或外部AI审查工具的反馈。代理没有修订其方法，而是缩小了他们的主张并添加了警告。他们还无法有效利用资源，如令牌、计算能力和时间。他们无法遵循关于研究不同阶段花费多长时间或论文长度的指示。尽管存在诸多缺陷，代理并没有参与研究人员所称的“奖励黑客”的不当行为，隐瞒或误表实验或数据。尽管子代理（即主代理派生出来的处理工作部分的辅助AI）偶尔会编造或误表结果，但这些都被负责监督整个项目的主 AI 捕获。卡普尔表示，AI模型在研究工程方面表现良好但在开放式研究中不行的原因可能与他们的训练方式有关。模型在接受训练时擅长于任何他们...