Artificial Analysis が Ai2 の IFBench 評価指標を採用する理由

2026 年 5 月 11 日 Ai2 有益な AI モデルは、単に妥当な回答を提供するだけでなく、指示を正確に従うものです。これは一見単純に思えますが、実際にはそうではありません。ユーザーは、3 文の要約、カジュアルなトーンでの書き直し、あるいは特定の単語を 1 つ含みつつ別の単語を避けるような回答などを、しばしば同時に求めることがあります。モデルがトピックを理解していても、指示に従うことで失敗することがあります。 NeurIPS 2025 に採択された当社の [IFBench](https://github.com/allenai/IFBench) ベンチマークは、言語モデルが精密な自然言語の指示をどの程度正確に実行できるかをテストするものです。昨年、独立した AI ベンチマーク機関である Artificial Analysis は、複数の評価を組み合わせてモデルの全体的な能力を測定するスコアである Intelligence Index に IFBench を追加しました。 「開発者がユーザーの指示に従う能力を非常に重視していることがわかりましたので、それを明示的に評価したいと考えました」と、Artificial Analysis の技術スタッフである Declan Jackson は述べています。「IFBench はそのギャップを埋めるために設計されたものであり、最先端モデルにとっても挑戦的なものでした。」 ## プロンプトへの準拠の測定 IFBench は単に基本的な指示従順性をテストするだけでなく、1 つの回答内で複数のルールへの準拠をモデルに強要します。一部のルールは簡単で、最小単語数や必須キーワードなどです。一方、他のルールはより巧妙です：文長さを一致させる必要があるもの、連続する単語が同じ文字で始まってはいけないもの、あるいは特定のキーワードを正確な位置に配置しなければならないものなどがあります。 「これは、指示の遵守が出力テンプレートや要求された回答構造を通じて間接的にしか捉えられていない多くの他のベンチマークとは異なります」とジャクソンは述べています。 各制約は単独では任意に見えるかもしれませんが、それらを合わせると、よくある状況が反映されています：ユーザーはモデルに一度に複数のことを求めることが多く、一つでも見落とすと回答が台無しになってしまうからです。IFBench を現実世界の用途に基づかせるため、そのプロンプトは研究者がゼロから作成したものではなく、実際のユーザーとの会話から抽出されたものです。 「IFBench は、以前の指示遵守評価よりも現実世界の利用に近い形で指示の遵守を測定します」とジャクソンは述べています。「プロンプトはカジュアルでユーザーらしい言語を使用し、固定されたテンプレートに従うのではなく、幅広いトーンと長さに対応しており、事実的な質問への回答、コンテンツレビューおよび要約、クリエイティブなサポートといった一般的なタスクに焦点を当てています。IFBench のより広範なカバレッジは、指示遵守能力に対する全体的により強力なシグナルにもなります。」 ## 他のベンチマークが見逃す IFBench が示すもの AI ベンチマークには通常、短い有効期限があります。モデルが上位スコアに達し始めると、システムを区別するための評価としての有用性が失われます。ジャクソンによると、Artificial Analysis のインテリジェンス・インデックスに追加された評価のほとんどは、約 6 ヶ月以内に飽和状態に陥ります。 しかし、IFBench はそうではありません。 「IFBench のスコアは時間とともに改善されていますが、その進捗はモデル間で一様ではなく、新しいフロンティア・モデルでも必ずしも良好なパフォーマンスを示すとは限りません」とジャクソンは述べています。 これにはいくつかの理由があります。 まず、複雑な指示従順性は、多くのラボが現在積極的に訓練している機能とあまり重ならないとジャクソンは述べています。コーディングやツール使用については、そこでの進歩が他のタスクやベンチマークに一般化されやすい傾向があるため、トレーニング後の投資が重点的に行われます。一方、指示従順性は範囲が狭く、これらの分野における進展の副産物として改善されることはめったにありません。 2 つ目の理由は、IFBench が測定する対象の広範さです。その幅広い制約とプロンプトセットにより、よりターゲットを絞ったドメインや機能評価と比較して進歩は緩やかであり、ラボでは集中的なトレーニング後のレシピで少しずつ改善を図ることができます。 これは数値にも表れています。ジャクソンによると、IFBench のスコアはモデルファミリーごとに明確にクラスター化しており、そのランキングは Artificial Analysis が提供するより広範なインテリジェンス指数とは一致しません。 xAI は依然として IFBench で首位を維持しており、Grok 4.20 (0309, Reasoning) が 82.9% のスコアでトップの座にあり、Grok 4.3 も 81.3% と僅差で続いています。最近の Google モデルも好成績を収めています：Gemini 3 Flash Preview (Reasoning) は 78.0% に達し、Gemini 3.1 Flash-Lite Preview と Gemini 3.1 Pro Preview はそれぞれ 77.2% と 77.1% を記録しています。OpenAI の GPT-5.5 (xhigh) と GPT-5.4 (xhigh) は続きで、それぞれ 75.9% と 73.9% です。主要な Claude モデルは IFBench ではやや低い位置にクラスターしており、Claude Opus 4.7、Claude Sonnet 4.6、Claude 4.5 Haiku のスコアは 54.3% から 58.6% の範囲にあります。これは、Claude Opus 4.7 が知能指数 (Intelligence Index) では GPT-5.5 (xhigh) の 60 に次いで 57 ポイントで上位にランクインし、Gemini 3.1 Pro Preview や GPT-5.4 (xhigh) と実質的に同点（どちらも 57）であるにもかかわらずです。 真にオープンな評価アプローチ IFBench が Artificial Analysis にとって有用なのは、2 つの理由によるものです。それは、何を測定しているかという点と、私たちがこれを公開したという事実です。 オープン化により、Jackson のチームは評価を忠実に実装し、幅広いモデル範囲で実行して、ユーザーが依存するリーダーボードにフィードバックすることができます。また、誰しもが何が、なぜ測定されているのかを見ることができるため、ベンチマーク自体の理解も容易になります。 Artificial Analysis にとって、IFBench はほぼすべての AI インタラクションで発生する事象をテストします。つまり、モデルがユーザーの要求を追跡できるかどうか、特に要求に多くの要素が含まれている場合です。これは現在、Artificial Analysis の評価における恒久的な一部であり、Ai2 のオープンベンチが分野にもたらすものの強力な例となっています。 「評価だけでなく、Ai2 はオープンソースの重要なリーダーでもあります」とジャクソンは述べています。「同社の取り組みは、オープンな研究を通じて業界を前進させるだけでなく、データや手法に関する透明性を保ちながら、ユーザーが研究成果物にアクセスできる機会も提供しています。」 最新の Ai2 ニュースに関する月次更新を受け取るには、購読してください。

Artificial Analysis が Ai2 の IFBench 評価指標を採用する理由

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト