我们建立了一个绘画竞技场：给模型一个空白的白色画布和一套彩色铅笔工具，然后让它自己发挥。模型设置颜色、笔尖宽度和压力，画出一批笔触，进行混合以便融合，擦除并调用view_canvas查看自己的作品并决定需要修正的地方。它可以再现目标图像或根据文本提示进行创作。我们在两个目标（蒙娜丽莎和梵高的《星夜》，这两者都有客观评分）和五个开放式提示下，运行了四个视觉模型：GPT-5.6 Sol、Claude Fable 5、Grok 4.5和Gemini 3.6 Flash，总共进行了28幅绘画。我们将讨论工具使用、成本、输出以及这些模型是否真的改进了它们的作品，最后会给出我们的意见。为什么我们要进行这些实验？简单说明一下我们为什么要这样做，因为我们上一次的实验（模型制作音乐视频）引发了很好的讨论，有些人认为我们在宣传模型的创造力或艺术能力。这些并不是模型能力的客观测试，而是故意开放式的模糊任务。我们之所以继续进行这样的实验，原因如下：它们很有趣，也真的是有益的。观察模型处理一个松散、开放式的任务，比又一个基准数字更能直观地反映其能力。它们揭示了真正的前沿与开放之间的差距。便宜的开放权重模型绝对可以取代很多执行工作中的前沿，我们会继续对此进行报道。但目前也有很多基准测试的泛滥，而这样的任务可以穿透其中。它们真正区分了前沿能力与其他能力之间的差异。如你所见，Grok 4.5在这个“基础”的绘画任务上表现得很糟糕，而我们尝试的开放权重模型甚至不可用，几个模型只是返回了一个空白画布。（这可能会随着Kimi K3的发布而改变，我们会在其完全开源后进行报道）它们展示了长期运行任务的实际成本。Claude Fable 5几乎总是比其他模型耗时更长，花费更多，但这里的输出却更糟。Fable在许多任务中击败了GPT-5.6，包括音乐视频挑战，但在这个任务中，其表现却更差，且需付出更多开销。根据你的用例，这种权衡是重要的。我们很喜欢这些讨论。讨论确实很有趣，如果你对设置或新任务有建议，我们会考虑采纳。这些实验进行得很愉快，输出结果也令人非常兴奋。所有模型使用的工具集完全相同： plan：一个无操作的草稿板，用于在步骤之间思考和计划。 view_target：再次查看目标图像。 view_canvas：渲染当前页面并查看它。这也是我们对绘画进行目标评分的时候。 set_color / set_brush / set_pressure：当前铅笔的颜色、笔尖宽度和压力（0到1的不透明度，低压力产生较柔和的音调）。 draw：一次下笔一批标记（笔触、线条、形状轮廓、点）。没有实心填充，色调和颜色通过层叠构建，像真实的铅笔一样。 smudge：混合/软化一个矩形区域，就像混合工具。 erase / clear_canvas：将某个区域恢复为白色/重置整个页面。整个工具集在github.com/hershalb/canvas-arena上是开源的。将其指向任何目标图像或文本提示即可自行动手实施。两个目标复制模型可以在整个过程中看到目标，并根据结构相似性（SSIM）进行评分。我们在下方展示了SSIM评分。蒙娜丽莎（目标） GPT-5.6 Sol Claude Fable 5 Grok 4.5 Gemini 3.6 Flash 完整记录：GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash 星夜（目标） GPT-5.6 Sol Claude Fable 5 Grok 4.5 Gemini 3.6 Flash 完整记录：GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash 五个提示绘画没有目标，没有评分，只有文本简述和空白页面。“一位老妇渔民的风烛残年的脸，温暖的晚间阳光，深深的皱纹和胡茬” GPT-5.6 Sol Claude Fable 5 Grok 4.5 Gemini 3.6 Flash 完整记录：GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash “平静海洋上的美丽日落，橙色到紫色的天空，剪影的天际线” GPT-5.6 Sol Claude Fable 5 Grok 4.5 Gemini 3.6 Flash 完整记录：GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash “深色背景下的玻璃花瓶中的红玫瑰，戏剧性的伦勃朗灯光” GPT-5.6 Sol Claude Fable 5 Grok 4.5 Gemini 3.6 Flash 完整记录：GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash “一只棕色虎斑猫在下午的阳光下蜷缩在窗台上睡觉” GPT-5.6 Sol Claude Fable 5 Grok 4.5 Gemini 3.6 Flash 完整记录：GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash “一个温馨的木屋内部，点燃的壁炉，温暖的琥珀色光线和柔和的阴影” GPT-5.6 Sol Claude Fable 5 Grok 4.5 Gemini 3.6 Flash 完整记录：GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash 主要数字 每个模型在所有七幅绘画中的平均值和总数。模型 GPT-5.6 So