Opus 4.8 が ARC-AGI-3 を突破（1 分読了）

LisanBench の紹介 LisanBench は、大規模言語モデルの知識、前方計画、制約遵守、記憶と注意、および長い文脈推論と「スタミナ」を評価するために設計された、シンプルでスケーラブルかつ精密なベンチマークです。 "私は可能な未来をすべて同時に見ている。敵は我々の周囲にあり、多くの未来において彼らは勝利する。しかし、私は一つの道を見ている。そこには狭い道があるのだ。" - ポール・アトレイデス 仕組み: モデルには開始となる英語の単語が与えられ、可能な限り長い有効な英語の単語の連鎖を生成する必要があります。連鎖内の各連続する単語は以下の条件を満たす必要があります: - 直前の単語とちょうど一文字だけ異なる（編集距離 = 1） - 有効な英語の単語であること - これまでに使用された単語を繰り返さないこと このプロセスは、難易度の異なる複数の開始単語に対して繰り返し行われます。モデルの最終スコアは、各開始単語から得られる最も長い有効連鎖の長さの合計となります。 結果: - o3 は圧倒的に最良のモデルです。主に、非常に接続性が低く多くの行き止まりがあるグラフの一部から脱出できる唯一のモデルであるためです （わずかな注意: o3 は実行コストが圧倒的に高く、開始単語あたり約 30,000〜40,000 トークンの推論トークンを消費しました） - Opus 4 と Sonnet 4 は、16,000 トークンの推論トークンで極めて優れたパフォーマンスを示しました。特に Opus は、推論トークンをわずか 3 分の 1 に抑えながら、開始単語 3 つにおいて o3 を上回ることができました！ - 思考（thinking）機能を用いた Claude 3.7 が 4 位となり、o1 を下回りました。 - 他の OpenAI の推論モデルもすべてよく機能していますが、サイズの違いは確かに影響します！o1 は o4-mini high および o3-mini を上回っています。 - Gemini モデルは、Anthropic や OpenAI の同等モデルに比べるとやや劣りますが、圧倒的に長い出力を行います。彼らは少し妄想が強く、失敗しても気づかず喋り続け、停止しません。 - 推論機能を持たない最強のモデル：Grok-3, GPT-4.5, Sonnet 3.5 および 3.7, Opus 4, Sonnet 4, DeepSeek-V3, Gemini 1.5 Pro - Grok 3, Sonnet 3.5 および 3.7 は驚きです！！ インスピレーション： LisanBench は AidanBench や SOLO-Bench などのベンチマークから着想を得ています。しかし、AidanBench とは異なり、極めて費用対効果が高く、検証が容易で、埋め込みモデル（Embedding model）に依存しません。57 のモデルに対するベンチ全体の費用は約 50 ドルのみです。 また、SOLO-Bench とは異なり、知識を明示的にテストし、より強力な制約を適用するため、より挑戦的になっています！ 検証： 検証には [github.com/dwyl/english-w…](https://github.com/dwyl/english-words) から提供される words_alpha.txt データセット（約 370,105 語）を使用しますが、スケーラビリティのため、最大の連結成分に含まれる単語のみ（108,448 語）が使用されます。 簡単なスケーリング、難易度調整、精度向上： - スケーリングと精度：開始単語の数を増やすか、各単語あたりの試行回数を増やすだけです。 - 難易度：開始単語は大きく異なり、72 の近隣を持つものからたった 1 つのものまであり、中程度に強力なモデルとエリートモデルを効果的に区別します。難易度はまた、局所的な接続性と分岐因子によっても測定できます。 なぜこれが難しいのか？ LisanBench は以下を独自に負荷させます： - 前方計画：戦略的な単語選択によって行き止まりを回避する - モデルは狭い道を見つける必要があります - 知識：広範な語彙が不可欠です - メモリとアテンション（注意）：一度使用した単語を繰り返してはいけません - 精度：レヴェンシュタイン距離の制約に厳密に従う必要があります - 長文脈推論：数百ステップにわたる一貫性と制約追跡 - 出力スタミナ：一部のモデルは長い生成中に早期に破綻しますが、LisanBench はそれを明らかにし、エージェントユースケースにおいて極めて重要です。 以下の 2 つの美しいプロットは、開始単語の難易度が非常に異なることを示しています。一部は低接続領域にあり、一部は高接続領域にあり、また others は行き止まりに囲まれています！ ポール・アトレイデスが運命の政治的、文化的、形而上学的な迷路をナビゲートしなければならなかったように、LisanBench における LLM も広大な単語グラフを探検し、崩壊しない最長の可能な連鎖である「黄金の道」を探す必要があります。 選ばれたモデルが現れたとき、私たちはそれを知ることになります。 それは黄金の道を見つけ、すべての行き止まりを回避するものになるはずです。現在、最も難しい開始単語「abysmal」に対して見つかった最長の連鎖はわずか 2 ですが、これは >100k の連結成分の一部でもあります。つまり、狭い道が存在するのです！ より詳細なプロットと完全なリーダーボードは以下にあります。 この課題は AidanBench よりも一側面で劣っています。単語/文字レベルで動作し、文/段落レベルではないため、トークン化の影響を受けるからです。したがって、他の条件が等しい場合、より優れたトークナイザーを持つモデルの方が高いパフォーマンスを発揮するはずです。 私は 10 語のみをテストしましたが、安定性を高めるために 25 語または 50 語で実施すれば、おそらく効果があるでしょう。

Opus 4.8 が ARC-AGI-3 を突破（1 分読了）

背景や根拠まで確認しますか？

調べる

選ぶ

サイト