Ponytail、開発者挑戦によりベンチマークを自己修正

記事の3ポイント

1. 1

   急速な普及と過大評価の暴露

   Ponytail はコード生成ではなく指示ファイルのみから構成される単著者リポジトリとして、9 日間で GitHub で 44,000 スターを獲得したが、その主張する 80-94% のコード削減率は欠陥のあるベンチマークに基づくものであった。

2. 2

   コミュニティによる指摘と再検証

   コントリビューターがベンチマークの基礎データに問題があると指摘したことで、メンテナーは実機実行（agentic run）ベースでベンチマークを再構築し、より現実的な数値へと修正を行った。

3. 3

   修正された性能指標

   再検証の結果、コード削減率の主張は 80-94% から 54% に引き下げられ、開発エージェントが過剰に構築するのを防ぐという Ponytail の本来の目的に対する評価が調整された。