在过去的几年中，西蒙·威利森使用相同的提示“生成一个骑自行车的鹈鹕的SVG”测试了每个主要的LLM版本。最初作为一种半开玩笑的基准测试，这已成为人工智能领域最著名的非正式基准之一。西蒙的鹈鹕骑自行车的结果常常是Hacker News 上关于人工智能实验室新版本发布的评论中获得最多赞的内容。这个基准现在已经足够著名，以至于人们对其有效性展开了大量讨论，以及人工智能实验室是否可能正在进行基准最大化（benchmaxxing）的问题。当数十亿甚至数万亿美元的利益处于危险之中，而一个强有力的结果能够帮助说服用户时，难道不引人注目地略微增强一下你的模型会很诱人吗？为了探究这一点，我设计了一个小实验。我生成了1,008个SVG，并对七个前沿模型进行了评分，使用了Claude Fable 5进行分析。本文展示了这些结果。所有代码可在Github上获取。\n\n我如何进行测试\n我构建了一个8种动物×6种车辆的网格，共48个提示，其中著名的提示是一个单元格：\n动物：鹈鹕、火烈鸟、苍鹭、水獺、浣熊、羚羊、鲸鱼、猫\n车辆：自行车、单车、滑板、踏板车、飞机、船\n每个提示使用与西蒙的几乎相同的措辞，只是在动物和车辆上进行了切换。动物和车辆的选择没有经过十分严格的方式，但我尝试在与原始提示的相似性和困难程度之间进行变换。火烈鸟和苍鹭与鹈鹕非常相似；猫、浣熊和水獺是简单的案例；羚羊比较难；而鲸鱼则可以说是截然不同。\n\n我通过OpenRouter测试了七个模型：GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5、Qwen3.7-Max、GLM-5.2和DeepSeek V4 Pro。我对每个提示生成3个样本，温度设置为1.0，要求每个模型的推理努力程度相同。这导致生成了1,008个SVG。然后，我通过三阶段管道处理每个图像：\n渲染：每个SVG被渲染为PNG。如果模型返回没有SVG或无法渲染的SVG，则我会重新生成，直到它能够生成一个有效的SVG，并记录尝试次数。在1,008次生成中，仅有11次重试。\n评分：GPT-5.6 Luna对每个图像进行1-5分的评分，分别针对动物、车辆和动作的一致性。当我在下面对动物或车辆进行排名时，我只使用相应的评分。当需要为每个图像提供一个数字时，我使用三个评分的平均值，称之为评委评分。\n特征提取：为了进行更详细的分析，我还将每个渲染的图像传递给Gemini 3.1 Flash-Lite，它记录了识别出的动物和车辆，主体朝向的方向，以及一个开放式的场景元素列表。我的假设是，如果一个实验室在基准上进行了训练，它应该会在某些组合中表现出来，比如鹈鹕行列的评分高于动物应得的分数，自行车列的评分高于车辆应得的分数，或者具体的鹈鹕-自行车单元的评分高于两者。\n证据 #1：骑自行车的鹈鹕看起来并没有更好\n在任何评分之前，最简单的测试是自己查看这些图像。选择一个实验室查看它所绘制的所有图像，每个图像下方都有评委评分（点击以打开全图）：在进行下面的分析之前，我自己查看了这些图像。没有什么让我惊讶的。我找不到骑自行车的鹈鹕图像明显优于该模型其他网格的案例。也许在GLM-5.2的第一批样本中，感觉稍微好于其他样本，但那一批也生成了一只颇酷的滑板苍鹭，因此我不能确定。除此之外，它们看起来与每个模型绘制的其他图像没有区别，而那些成功地绘制出骑自行车鹈鹕的实验室在绘制其他动物-车辆组合时也表现良好。但这个测试很难复制，每个人会有不同的看法。因此，我想要更量化的方法，这就是我选择上述方法的原因。\n证据 #2：实验室绘制鹈鹕的能力没有更强\n这是每种动物的平均评分，汇总自所有模型：\n鹈鹕在8种动物中排第6，落后于猫、鲸鱼、浣熊、苍鹭和羚羊。如果人工智能实验室在基准上进行训练，你会期待鹈鹕排在最前面。相反，它们处于下半部。所有七个实验室在绘制猫、鲸鱼和浣熊方面的表现都优于鹈鹕。当然，鹈鹕可能比猫更难绘制。一个实验室可以在鹈鹕上进行训练，但仍然未将它们推至简单动物之上，因此仅凭这一排名无法排除这种可能性。我会在证据 #4 中进行困难因素的调整。\n证据 #3：实验室绘制自行车的能力没有更强\n自行车的表现更糟。它们排在第二到最后的位置，几乎与最后一名的飞机平局：\n如果实验室在基准上进行训练，你会期待自行车接近这个排名的顶部。它们并没有。然而，类似的警告也适用。自行车的绘制比滑板更难：它需要两个匹配的轮子，一个覆盖两个车轴的框架，车把、座位和踏板。评委会会标记缺失或不一致的部分...