Cline、オープンウェイトエージェントの評価用セットを公開

記事の3ポイント

1. 1

   クローズドウェイトモデルの限界とオープンウェイトの台頭

   最新のクローズドウェイトモデルは高コストかつ価格透明性が低く、Cline の利用状況でも直近数ヶ月でオープンウェイトモデルの使用量が急増している。

2. 2

   独自評価による非効率性の発見

   Cline が独自に実施した評価では、SOTA 評価スコアは得られたものの、リクエストのトークンサイズが効率的なハッチェスと比較して 20〜30% 重くなることが判明した。

3. 3

   評価フレームワーク「Harbor」の活用と公開

   Cline は Terminal-Bench の作成者らが構築したエージェント評価フレームワーク「Harbor」を用いて並列評価を実行し、その結果と分析手法をオープンソース化した。