截至今天，Ploy的代理运行在GPT-5.6 Sol，这是OpenAI今晨发布的模型系列的旗舰版本。在过去几个月里，由于我们对质量的高标准，我们无法找到可以与Claude Opus匹敌的模型。这种情况在GPT 5.6 Sol出现后发生了变化。在与Claude Opus进行面对面的比较后，我们已经将GPT 5.6 Sol设为每个Ploy工作区的默认模型。这比听起来的更重要。Ploy的代理构建和编辑真正的营销网站。它规划页面，阅读代码库，编写组件，生成图像，截取自己工作的屏幕，并决定何时完成。这样的工作描述对模型设置了非常高的标准，我们对每个前沿版本进行测试。在Opus担任默认模型的四个月里（首先是Opus 4.7，然后是4.8），测试的模型都无法超越它。GPT-5.6是第一个做到这一点的模型。当然，首次评估运行并不完美。它存在真正的失败模式，我们将展示给你。但它表现极为优异，承诺是立即和具体的：构建所需的时间不到一半，成本降低27%，在完成的工作上得分与我们现有模型相当或更高。这样的数字为模型的真正迁移工作赢得了机会。尽管使用了Vercel的AI SDK—一个通用的LLM SDK—但从Claude Opus 4.8切换到GPT 5.6 Sol的过程需要发现每个评估失败，逐步了解我们认为的“模型”是我们整个堆栈悄然专门化的提供者特定行为：如何填充工具参数，提示缓存如何运作，它如何回放自己在不同回合之间的推理。这需要什么呢：首先修复评估设备，然后是工具模式，再是缓存，最后是推理回放。步骤0：在相信任何数字之前先修复你的设备。我们的评估套件将真实代理针对真实的工作空间进行评估。从“从零开始构建主页”到“这个克隆请求是否安全执行”的数百个案例。构建案例通过视觉评审员进行评分，该评审员根据参考设计进行二元检查，包括十个是/否问题，例如“主视觉是全幅图像场景”或“主要的CTA是圆角矩形，而不是药丸” ，加上内容检查、工具轨迹检查和文件断言。每个失败的案例都根据其完整跟踪进行分类：实际的工具调用和模型文本，而不仅仅是得分。在两个模型系列之间运行该套件使我们更吃惊，而不是任何单一的结果：你的设备是针对现有模型进行调优的，而你并不知道这一点。我们的工具调用预算是针对Opus的顺序风格进行设定的；而GPT-5.6则并行地展开调用，并且在解决正确的案例时超出了预算。我们的评估执行器不支持批量文件读取，而Opus很少使用，而GPT-5.6则时常使用。首次跨模型运行中大约三分之一的原始失败追溯到设备假设，而不是模型行为，并且在模型之间分布不均。如果你在与现有模型进行评估时比较一个新模型，先对追踪进行分类，然后再相信通过率。否则你就是在根据新模型模仿旧模型的能力来打分。确保你在评估中公平打分模型。一个遗漏了minScore阈值的数据集静默继承了1.0的默认值，因此GPT-5.6在得分为0.98的情况下“失败”了，而Opus在通过每个单个检查时却“失败”了一个案例。两个可以辩护的设计方向；一个不可见的阈值。设备清理后，以下是我们重新设计套件中的一个示例，其中代理针对参考设计重新构建品牌主页：每个完成的构建的平均值 Claude Opus 4.8 (n=11) GPT-5.6 (n=10) 成本 $3.06 $2.22 实际耗时 8分钟 00秒 3分钟 42秒 输入令牌 2.60M 1.70M 输出令牌 33.0K 17.1K 视觉评分 0.936 0.970 这就是承诺的形态：完成页面的速度提升2.2倍，成本降低27%，输出令牌大约减半。GPT-5.6生成精简的代码。在一对匹配案例中，Opus生成了一个包含17,957个字符和174个CSS变量的globals.css（完整的颜色范围，大部分未使用），而GPT-5.6生成了2,508个字符和45个变量，呈现的页面可比（有时更好）。设计：尖锐、干净，但有些单一。我们对GPT-5.6设计工作的总体看法是：它在干净、现代、紧凑的布局方面表现得非常好，但如果不进行良好的引导，它往往会趋向于这种外观。在为Opus 4.8设计的旧设备下，GPT 5.6 Sol倾向于忽视现有设计系统，反而产生尖锐、克制且明显通用的输出。我们如何解决这一点的细节值得单独写一篇博客。借助我们设计和工程团队的专业知识，我们能够引导模型达到顶级品牌遵循的效果，而这在开箱即用的状态下无法获得。步骤1：检查你的工具调用 在我们发现它之前，有一个工具悄悄地破坏了结果。我们代理的代码工具有25个顶级参数，其中一个是必需的 (action)，其余为可选。Claude只发送它正在使用的两个或三个，而省略其余部分。GPT-5.6每次都发送所有25个，逐一进行处理。