上周，OpenAI 宣布了 GPT-5.6 系列，推出了 Sol、Terra 和 Luna 模型。在发布直播中，团队专注于计算机使用，展示了能够导航和操作桌面应用程序的模型。OpenAI 突出了用户界面代理和详细的 3D 可视化，但这两者都依赖于更强的视觉理解。为了评估它们的视觉能力，我们将这些模型进行我们的即将发布的 VLM 基准测试，这项基准测试计划在接下来的几周内发布。基准测试涵盖了常见的视觉任务，包括检测、计数、OCR 和数据提取。在此帖子中，我们将更深入地了解 GPT-5.6 在每项任务中的表现。显然，Sol 是迄今为止 OpenAI 发布的最佳视觉模型。在物体检测和计数方面，跳跃尤其明显，而 GPT-5.5 在最强 VLM 后面落后。Terra 和 Luna 不如 Sol 强大，但在 GPT-5.5 的基础上都有显著进步。在 Roboflow Playground 中测试 Sol、Terra 和 Luna，并将它们的结果与 Claude Fable 5 和 Gemini 3.5 Flash 等模型在相同视觉任务下进行比较。Roboflow Playground 物体检测检测是 GPT-5.6 显示出最明显跳跃的地方。在我们的基准测试中，GPT-5.5 得分为 13.8 mAP@50，而 Sol 达到了 46.2。Terra 和 Luna 紧随其后，分别为 44.7 和 43.3，将物体检测从一个主要的弱点提升为一个实用能力。文档布局检测是 GPT-5.6 最明显的优势之一。Sol 处理标题、段落、表格、图像和签名的表现良好。许多文档工作流程始于定位页面的相关部分，然后再进行 OCR 或数据提取。GPT-5.6 在密集场景中的表现也很不错。药品和鸡蛋的例子包含许多紧密堆积的相似物体，这是 VLM 基于检测的一个常见弱点。与传统检测器不同，VLM 会将每个类别标签和坐标集生成文本。随着物体数量的增加，响应变得更长，遗漏物体、重复项或坐标错误的风险增加。尽管如此，Sol 在两个场景中检测出了大多数物体。为了获得最佳检测结果，请提示 GPT-5.6 模型返回图像像素中的绝对 XYXY 坐标。这与 Gemini 3.5 Flash 不同，后者在坐标标准化为 0–1000 范围的情况下表现最佳。使用错误的坐标格式使 GPT-5.6 的检测性能降低了大约 15 mAP 分。在少数情况下，GPT-5.6 Sol 在图像的随机部分返回了框。许多框与真实情况没有重叠，或几乎没有重叠。框经常形成不自然的布局，比如直行或均匀分布的组，而不是匹配可见物体。我们将这些例子分享给了 OpenAI。他们的团队证实，Sol 在图像尺寸为 2000 x 2000 像素或更大时，稳定性下降，尤其是在较低的推理努力下。更高的推理努力提高了稳定性，但也增加了令牌使用、延迟和成本。在将大图像发送到 OpenAI API 之前调整或裁剪图像是最实用的解决方法。物体计数在整个 GPT-5.6 系列中计数有所改善。Sol 在我们的基准测试中得分为 73.0%，高于 GPT-5.5 的 64.9%，而 Terra 和 Luna 分别达到了 67.6% 和 66.2%。作为系列中最便宜的模型，Luna 仍然超越了之前的 OpenAI 基线。作为基准测试的一部分，我们测试了需要不仅仅识别物体和返回总数的情况。Sol 对高度重叠的金属支架进行了计数，这对传统物体检测器和 VLM 来说都是一个困难的案例。Sol 还仅在选定的得分区域内部数子弹孔，显示了它对需要计数哪些物体和规则在哪些地方适用的理解。泡罩包装则证明困难得多。在单独的提示中，我们要求 Sol 计算空槽和仍然密封在包装中的药片数量。重复的布局、反射，以及填充和空槽之间的微小视觉差异使这两个任务都变得困难。异常糖果的例子暴露了一种不同类型的失败。Sol 给出了错误的计数，但不清楚模型是计算错误的糖果数量，还是误解了目标类别。OCR 和数据提取OCR 性能与 GPT-5.5 接近。Sol 达到了 90.7% 的平均相似性得分，仅比 GPT-5.5 的 91.2% 低 0.5 分，而 Terra 和 Luna 达到了 88.8% 和 88.4%。在文本提取方面差距更大，Sol 得分为 82.5%，而 GPT-5.5 为 87.6%。Luna 和 Terra 紧随其后，分别为 81.4% 和 79.4%。作为基准测试的一部分，我们将完整转录与目标提取分开。OCR 要求模型转录所有可见文本，而文本提取则要求获取特定信息。Sol 在这两种情况下对于手写笔记的表现良好，在一种情况下生成了完整的转录，在另一种情况下提取了所请求的日期。Sol 在复杂视觉场景中嵌入的文本表现良好。它读取了印刷在脏污、磨损轮胎曲面上的轮胎尺寸序列。在另一个示例中，它提取了