Google、Android Bench を新 LLM で更新も Gemini は依然として後れ

記事の3ポイント

1. 1

   ベンチマークの大幅アップデート

   Google は Android アプリ開発における LLM の性能を評価する「Android Bench」を大規模に更新し、使用しやすい新フレームワークを採用した。

2. 2

   主要モデルの評価対象へ追加

   Claude 3.5 Sonnet（記事では Claude Sonnet 5 と表記）、Qwen 3.7 Plus/Max、GLM 5.2 など、8 つの最新主要 LLM をベンチマークに追加した。

3. 3

   評価指標の拡張

   既存のタスク成功率に加え、コストや効率性といった新しいメトリクスを導入し、オープンウェイトモデルの評価も可能にした。