代码生成正成为大型语言模型（LLM）最受欢迎的应用之一，但并不是所有代理在所有开发任务上都同样出色。谷歌在今年早些时候创建了一个基准，以评估LLM在Android应用开发中的表现，而Android Bench今天迎来了重大更新。排行榜现在包括了一系列新模型，谷歌采用了一个应该更易于使用的新框架。开发者被邀请进行自己的测试并提交反馈，这可能会影响Android Bench的未来。尽管LLM是流行的编码工具，但并不是所有内容都准确无误。将有用的输出与毫无价值的内容分开意味着选择合适的工具。Android Bench旨在展示哪些AI代理在100个Android开发任务中表现最佳。在3月推出Android Bench之后，谷歌增加了诸如成本和效率等指标，以及开放权重模型。为了保持Android Bench的相关性，谷歌更新了测试，新增了包括所有最新强大模型在内的八个新模型：Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus和Qwen 3.7 Max。即使是在Android Bench的初始发布中，谷歌的AI模型也没有位居榜首——OpenAI的最新LLM稍稍领先。现在，随着谷歌扩展产品线，Gemini的情况更为糟糕。在新的排行榜中，Gemini 3.1 Pro位居第五，落后于GPT 5.4、Claude Sonnet 5和Claude Fable 5。实际上，Fable 5在测试中以84.5%的准确率超出了预期。