我们让Grok 4.5、GPT-5.5和Claude构建相同的应用程序
Grok 4.5本周发布,xAI称其为迄今为止最聪明的模型,"与Cursor一起训练",用于编码和代理工作。互联网最喜欢检查新编码模型表现的方式就是比赛:给它一个提示,看看它生成什么应用程序,然后发布该片段。因此,我们这样做了,但方式更为正式。我们给Grok 4.5、GPT-5.5、Claude Opus 4.8和Claude Fable 5完全相同的三个提示:构建一个自包含的HTML文件(没有库,没有网络调用)以用于交互式应用程序。每个模型一次尝试,没有辅助,没有修改提示。然后我们在真实的浏览器中加载每个结果,进行测试,并记录发生的情况。以下每个片段是模型的原始输出,您可以点击“实时播放”来运行生成的实际应用程序。关于失败有一个规则:如果某个应用程序根本没有渲染,我们只允许一次重试,并且会告诉您何时使用了它。第一轮:一个3D魔方,能够打乱和解决构建一个色彩缤纷、看起来像3D的魔方,并带有'打乱'和'解决'按钮。魔方的旋转必须是明显动画的。这是最难的一个。它需要真正的3D数学、每个面的状态以及动画,所有这些都在一个文件中。Grok 4.5 GPT-5.5 Claude Opus 4.8 Claude Fable 5 实时播放:Grok 4.5 · GPT-5.5 · Opus 4.8 · Fable 5 Claude模型在这一轮中表现出色。Opus 4.8和Fable 5都在第一次尝试中生成了正确的、颜色正确的3D魔方,可以打乱和解决并带有动画旋转。Grok 4.5在这一方面跌跌撞撞:它的第一次尝试渲染了标题和按钮,但根本没有魔方(一个空白的空间),因此我们花费了允许的重试机会,而第二次尝试产生了一个干净、色彩丰富的3D魔方。GPT-5.5则显得比较奇怪,只渲染了一个单一的黑色面,几乎没有色彩,而不是完整的魔方。赢家:Opus和Fable,平局。第二轮:一个粒子重力沙箱一个交互式粒子重力沙箱在画布上:数以百计的粒子带有轨迹,单击添加一个重型吸引器。使其引人入胜。Grok 4.5 GPT-5.5 Claude Opus 4.8 Claude Fable 5 实时播放:Grok 4.5 · GPT-5.5 · Opus 4.8 · Fable 5 每个模型都交付了一个工作的沙箱,所以这取决于个人品味。GPT-5.5制作出了真正最引人入胜的模型:发光的霓虹吸引器,带有稠密的、旋转的彩色轨迹。Grok 4.5则走的是整洁和轨道路线,带有整齐的吸引器环和色彩丰富的粒子。Fable 5则倾向于柔和的发光球,而Opus 4.8则产生了最繁忙、最像网络的粒子场,物理效果很好,但视觉效果稍逊。赢家:GPT-5.5,从氛围上来说。第三轮:一个可玩Breakout游戏在画布上:一个可玩的Breakout / 砖块打破者:挡板跟随鼠标,球击打彩色砖块,带有得分和生命值。Grok 4.5 GPT-5.5 Claude Opus 4.8 Claude Fable 5 实时播放:Grok 4.5 · GPT-5.5 · Opus 4.8 · Fable 5 平局。四个模型全部在第一次尝试中生成了抛光的、真正可玩的砖块打破者,带有得分、生命值和发光的挡板。Grok 4.5和GPT-5.5都着重于霓虹街机的外观(GPT甚至在我们的脚本击打球的同时获得了得分)。如果要分出高下,其实四个模型的质量都可以发货。赢家:每一个。结果:速度和成本 漂亮的演示是其中一件事;每个模型的运行成本是多少?我们用自己的设备测量了它(三个固定的提示,涵盖编码、推理和摘要,每个提示三次,输出令牌限制在400)通过应用程序所使用的相同提供者路径。吞吐量是输出令牌与总墙钟延迟的比率,针对每个提供者统一测量。模型 中位数延迟 首个令牌 吞吐量 每个回复的成本 成功率 Grok 4.5 2.8秒 0.44秒 110 tok/s 0.002¢ 100% GPT-5.5 2.0秒 1.26秒 53 tok/s 0.004¢ 100% Claude Opus 4.8 2.6秒 1.16秒 47 tok/s 0.004¢ 100% Claude Fable 5 6.3秒 3.47秒 28 tok/s 0.009¢ 100% 这是Grok 4.5展现实力的地方。它在不到半秒内获取了首个令牌,以每秒约110个令牌的速度流式传输(大约是这里其他模型的两倍),并且是这组中成本最低的回复,这正是xAI提出的“每单位时间和成本的智能”理念。它的中位数墙钟延迟看起来只是中等,因为它的输出冗长(每个回答写出了最多的令牌),并且其波动性较大(约9秒的P95)。GPT-5.5在短回答上反应最快,Opus 4.8处于平衡中等,而Fable 5是最慢和最贵的,这是您为处于智慧顶端而付出的代价。奖励轮:画一些奇怪的东西 编码是一方面,空间想象是一方面。我们要求每个模型提供一个手工编写的SVG(无光栅,无库),描绘一个特别愚蠢的场景:一匹马骑在走在月球上的宇航员背上。角色反转,两个角色,一个文件。Grok 4.5 GPT-5.5 Claude Opus 4.8 Claude Fable 5 原始SVG:Grok 4.5 · GPT-5.5 · Opus 4.8 · Fable 5 Fable 5抢尽风头:一匹戴着牛仔帽的马大喊“快走,人类!”而一个弯腰的宇航员气喘吁吁地说道“呼……呼……”那不仅仅是画画,那是喜剧。GPT-5.5紧随其后,一匹快乐的马兴奋地喊出“耶!”Grok 4.5干净利落地完成了这个要求,绘制了一个色彩丰富、易读的场景。Opus 4.8画了一个有特色的角色。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡