
Gemini 3.5 Flash 编程实测成绩令人大跌眼镜
谷歌最新公布的 Android Bench 编程基准测试结果显示,被寄予厚望的轻量化模型 Gemini 3.5 Flash 在安卓开发领域的实际表现未达预期。该模型不仅未能跻身前五名(仅列第六),其单次基准测试的运行成本更是前代 Gemini 3.1 Pro Preview 的三倍,且伴随着更高的延迟与 9% 的性能差距。这一数据打破了官方此前宣称其“更便宜、更快速”的定位。
Android Bench 最新实测:Gemini 3.5 Flash 核心数据偏差
谷歌的 Android Bench 基准测试通过在 10 次运行中测试模型解决安卓编程案例的成功率来评分(满分 100 分)。在最新一期的测试中,Gemini 3.5 Flash 的多项指标均不乐观:
- 成本与 Token 消耗:Gemini 3.5 Flash 在单次基准测试中平均消耗了 355.9 个 Token,单次运行成本高达 147.1 美元。相比之下,今年 2 月测试的 Gemini 3.1 Pro Preview 仅消耗了 73.3 个 Token,成本仅为前者的三分之一。
- 性能与延迟:作为主打高速度、低成本的 Flash 系列,Gemini 3.5 Flash 在安卓编程中却表现出更高的延迟。其最终测试成功率比 Gemini 3.1 Pro Preview 低了 9%,未能实现官方此前预测的 6.1% 差距收窄。
- 横向对比:与竞争对手相比,GPT 5.5 虽然单次运行成本相近,但 Gemini 3.5 Flash 消耗的 Token 数量是其 5.5 倍;而 Claude Opus 4.7 则以更低的运行成本和 Token 消耗稳居第四。
事件解读:为何“轻量版”模型反而又慢又贵?
这一测试结果揭示了当前大语言模型在特定垂直领域(如安卓开发)中面临的适配瓶颈。对于中文开发者和技术团队而言,以下几点值得关注:
首先,轻量化模型(Flash)的优势通常在于处理高并发、简单的文本生成任务。然而,在涉及复杂逻辑、多步骤推理的“智能体编程”(Agentic Coding)场景下,Gemini 3.5 Flash 似乎陷入了“Token 冗余循环”,生成了大量无用代码或反复尝试,导致 Token 消耗量呈指数级上升,最终推高了 API 使用成本。
其次,谷歌虽然在其他通用任务和智能体应用中对 Gemini 3.5 Flash 进行了优化,但显然安卓编程并不是它的强项。在实际开发中,盲目“追新”使用最新发布的 Flash 模型,可能会带来高昂的账单和低效的代码质量。
最后,谷歌在此次测试中展现了极高的透明度,直接公开了自家新模型的不足。对于开发者来说,现阶段在进行安卓应用开发或辅助编程时,继续调用性价比较高的 Gemini 3.1 Pro Preview,或者选择 Claude 系列模型,是更为理智和经济的选择。
我之前也写过一篇和Gemini 3相关的文章:《谷歌 推出 Gemini 3.6 Flash 与 3.5 ,并首度公开预》,如果你想把这次更新放到更具体的场景里看,会更容易串起来。
常见问题
Gemini 3.5 Flash 在所有任务中都比 Gemini 3.1 Pro 差吗?
并非如此。谷歌指出,Gemini 3.5 Flash 在其他通用 LLM 任务和智能体(Agent)任务中依然保持着不错的性能与成本优势。目前的劣势主要集中在 Android Bench 这一特定安卓编程基准测试中。
安卓开发者目前应该如何选择 Gemini 模型?
鉴于最新的测试数据,建议开发者在处理安卓编程和代码生成任务时,优先选择 Gemini 3.1 Pro Preview。该模型在 Android Bench 中的排名更高,且 Token 消耗和费用仅为 Gemini 3.5 Flash 的三分之一。
来源:9to5Google
原创文章,作者:chuntian,如若转载,请注明出处:https://gemini.sflvye.net/1108.html