「母病速帰」型 AI：トークン削減率 65% と謳うが実測はわずか 8.5%

記事の3ポイント

1. 1

   実測値と謳い文句の乖離

   JetBrains のテスト結果では、Caveman プロジェクトが主張する65%のトークン削減率は実際には8.5%に留まり、出力トークンは約59.2万から54.2万へと微減した。

2. 2

   コスト構造の誤解

   Caveman が最適化する自然言語の説明部分は、プログラミングエージェントにおけるシステム提示詞やコード内容といった主要なトークン消費要素の一部に過ぎないため、全体への影響は限定的である。

3. 3

   品質への影響なし

   テストでは82組のタスクにおいてCaveman版の結果が統計的に有意な品質低下を示さず、効率化の過大評価が課題となっている。