我们让 Grok 4.5、GPT-5.5 和 Claude 构建相同的应用
文章比较了三个AI模型(Grok 4.5、GPT-5.5 和 Claude)在构建相同应用时的表现,展示了它们各自的能力和差异。
文章比较了三个AI模型(Grok 4.5、GPT-5.5 和 Claude)在构建相同应用时的表现,展示了它们各自的能力和差异。
SynthePulse Insight · AI 深度解读
版本 1 · 1 个来源
xAI最新模型Grok 4.5在代码生成的速度和成本上碾压对手,但在最复杂的3D任务上首次尝试失败;Claude Opus 4.8和Fable 5则展现了最高的首次成功率。
TryAI对Grok 4.5、GPT-5.5、Claude Opus 4.8和Claude Fable 5进行了三项相同的代码生成测试:构建一个3D魔方(带打乱和求解动画)、一个粒子重力沙盒、以及一个打砖块游戏。所有输出均为单文件HTML,无外部库或网络调用,每个模型仅有一次机会,若应用完全无法渲染则允许一次重试。此外还包含一个SVG创意任务:绘制“一匹马骑在宇航员背上在月球行走”的场景。
在最具挑战性的3D魔方任务中,Claude Opus 4.8和Fable 5首次尝试即生成了正确着色、带动画旋转的3D魔方。Grok 4.5首次尝试仅渲染出标题和按钮,魔方区域为空白,使用重试后第二次尝试才成功生成。GPT-5.5则仅渲染出一个暗淡的单面,未能形成完整魔方。Claude两款模型在此任务中并列胜出。
在粒子重力沙盒任务中,所有模型均生成了可工作的应用。GPT-5.5因生成最迷人的视觉效果(发光霓虹吸引子、密集彩色轨迹)而胜出;Grok 4.5呈现了整洁的轨道风格;Fable 5偏向柔和发光球体;Opus 4.8的粒子场最为繁忙但视觉稍逊。在打砖块游戏中,所有模型首次尝试即生成了包含分数、生命值和发光挡板的可玩成品,表现持平。
在固定提示(三个提示,各三次重复,输出上限400 token)的测试中,Grok 4.5中位延迟2.8秒,首token延迟0.44秒,吞吐量110 tok/s,每次回复成本$0.002,四项指标均为最优。GPT-5.5中位延迟2.0秒(短回答最快),但首token延迟1.26秒,吞吐量53 tok/s,成本$0.004。Claude Opus 4.8中位延迟2.6秒,吞吐量47 tok/s,成本$0.004。Fable 5最慢且最贵:中位延迟6.3秒,首token 3.47秒,吞吐量28 tok/s,成本$0.009。所有模型成功率均为100%。Grok 4.5的P95延迟约9秒,存在尾部延迟波动。
在SVG创意任务中,Fable 5表现最佳:生成了戴牛仔帽的马大喊“Giddy-up, human!”以及弯腰宇航员喘气的幽默场景。GPT-5.5次之,马的表情欢快。Grok 4.5生成了色彩丰富、可读性强的场景。Opus 4.8的SVG包含重复属性,在严格解析器下会出错。总体而言,Grok 4.5在速度和成本上优势明显,但在最复杂的任务上首次尝试失败;Claude模型在可靠性上领先,但代价是更高的延迟和成本。
本文基于TryAI的单一测试,样本量有限(每个模型三个编码任务加一个SVG任务),且测试环境可能无法完全代表真实生产场景。速度与成本数据由TryAI自行测量,未获第三方独立验证。模型版本(Grok 4.5、GPT-5.5、Claude Opus 4.8、Fable 5)均为发布时的最新版本,但后续更新可能改变表现。
Grok 4.5在代码生成的速度和成本上树立了新标杆,适合高吞吐、对延迟敏感的场景;Claude Opus 4.8和Fable 5在复杂任务上首次成功率更高,适合对可靠性要求严格的应用。GPT-5.5在视觉创意上表现突出,但复杂逻辑任务存在短板。
主报道
主报道来源