FACTSベンチマークスイート：大規模言語モデルの事実性を体系的に評価

FACTS ベンチマークスイート：大規模言語モデルの事実性を体系的に評価する ![](https://lh3.googleusercontent.com/UtaV3T8CfCPiTT0lP35kiMU-V9StKRTbJPJBS-aXMNeZZBHEEl7cXvx4m4plgrIn5JyG5ulISD7ycRIrRwKceUUsKcH5tXnid4WD_X6ugPDHSkaRsw=w1440-h810-n-nu) 大規模言語モデル（LLM: Large Language Models）は、多様なユースケースにおいて情報提供の主要なソースとしてますます重要になっており、その回答が事実上正確であることが極めて重要です。 この業界全体に共通する課題に対するパフォーマンスを継続して向上させるためには、モデルが正確な回答を提供することに苦戦するユースケースの種類をよりよく理解し、これらの領域における事実性のパフォーマンスをより適切に測定する必要があります。 FACTS ベンチマークスイート 本日、私たちは Kaggle と提携し、FACTS ベンチマークスイートを発表します。これは、以前に開発した FACTS グランディングベンチマーク（FACTS Grounding Benchmark）を拡張するものであり、以下の 3 つの追加的な事実性ベンチマークを含んでいます： パラメトリックベンチマークは、ファクトイド質問ユースケースにおいて、モデルが内部知識を正確にアクセスできる能力を測定します。 サーチベンチマークは、モデルが検索ツールとして検索機能を使用し、情報を取得して正しく統合する能力を試すものです。 マルチモーダルベンチマークは、入力画像に関連するプロンプトに対して、事実上正しい方法で回答するモデルの能力を検証するものです。 また、元の FACTS グラウンディングベンチマークを「Grounding Benchmark - v2」として更新します。これは、与えられたプロンプトの文脈に基づいて回答を提供するモデルの能力を検証するための拡張されたベンチマークです。 各ベンチマークは慎重に選定され、合計 3,513 の事例を作成しました。これらを本日、一般公開いたします。前回のリリースと同様に、業界標準の慣習に従い、評価セットの一部を非公開のセットとして保持しています。FACTS ベンチマークスイートスコア（または FACTS スコア）は、4 つのベンチマークにわたる公共セットと非公開セットの両方の平均精度として計算されます。Kaggle が FACTS ベンチマークスイートの管理を監督します。これには、非公開の保持セットの所有、主要な大規模言語モデル（LLM: Large Language Model）のベンチマークでのテスト、および結果をパブリックリーダーボードにホストすることが含まれます。FACTS 評価手法の詳細については、当社の技術レポートをご覧ください。 ベンチマーク概要 パラメトリックベンチマーク FACTS パラメトリックベンチマークは、ウェブ検索などの外部ツールの支援なしに、モデルが事実上の質問に正確に回答する能力を評価します。ベンチマーク内のすべての質問は、「クイズ形式」の質問であり、ユーザーの関心に基づいており、Wikipedia（LLM の事前学習における標準的なソース）を通じて回答可能です。結果として得られるベンチマークには、1,052 件の事例からなる公共セットと、1,052 件の事例からなる非公開セットが含まれます。 ![](https://lh3.googleusercontent.com/3rWcOoUWW4R1fPg-rubQXK7EX_LWQb-OVdjx3h5GnDHOXMIxVTWmMimghase8GzR0ih7O1fQUPLnxTkRNchdIKfZuPscCBnH-746Biyqt9a77ImKBw=w1440) ![](https://lh3.googleusercontent.com/dfUZuvGKtW46CkqUiLvZWXBqBOGGy1lkw31AyOjVyNpuWSfO2TQxYn9w-9MEABCoHDbszZswKFTxJjoOUu8oN8IARlQs9MlLLCS3O38BahvnLB6f=w1440) Parametric ベンチマークにおける質問セット全体に対する割合として示された、コンテキストドメインの分布（左）と回答タイプの分布（右）。 公開セットからの典型的なプロンプトでは、モデルにニッチなトピックに関する単純な質問に答えることが求められます。例えば、「『ロックフォード・ファイルズ』のテーマソングでハーモニカを演奏したのは誰か？」といった問いです。 Search Benchmark 対照的に、FACTS Search ベンチマークは、モデルが Web 検索ツールを使用して質問に回答する能力を評価するものです。このベンチマークは、Web にアクセスできる場合でも LLM（大規模言語モデル）にとって挑戦的になるように設計されており、単一のクエリに答えるために複数の事実を順次取得することがしばしば必要とされます。同じ Web 検索ツールがすべてのモデルに対して提供されるため、カスタムの Web 検索設定という交絡因子を排除し、純粋なモデルの能力のみがテストされます。FACTS Search は、890 件の項目からなる公開セットと、994 件の項目からなる非公開セットで構成されています。 ![](https://lh3.googleusercontent.com/TjFoip4LXatWLaEeubsWJGshovmVWoxGFRAzw6HT_BYUcICF8EMvvClM8oQsn_7e34tgILFoCSN9R_OVZozgC9UQN8shMli9Uey1xpB3hUGQGtZhhA=w1440) ![](https://lh3.googleusercontent.com/KLFNpI1mJYU0HcEgdo2b0kbB2F7WLxA2hCttyzfPLSzPh9gtlC7u6yBMJ-PRw0XSzgamzFuNAfnr5_2i-d1AEx7ap9VwcE5FnHghuQfVcjnbSIBAl6A=w1440) Search ベンチマークにおけるプロンプトの総セットに対する割合として示された、コンテキストドメイン（左）とユーザーが要求したタスク（右）の分布。 以下の例は公開セットから選ばれたものであり、複数のウェブページからの情報取得を必要とするため含まれています。「1960 年夏季オリンピックでワジク・カザリアンを破ったイギリスのボクサー、同じくその大会の男子ライトウェルター級に出場したモロッコのボクサー、そして 1960 年と 1964 年の両方の夏季オリンピックに出場したデンマークのボクサーの生年の合計はいくつか？」 マルチモーダルベンチマーク FACTS マルチモーダルベンチマークは、画像ベースの質問に対してモデルが事実に基づいた正確なテキストを生成する能力を評価するものであり、これは現代のマルチモーダルシステムにとって重要な機能です。 このタスクでは、視覚的グラウンディングの統合が必要であり、これは内部または「パラメトリック」な世界知識を用いて、視覚入力からの情報を正確に解釈し関連付ける能力を指します。評価フレームワークは、回答が正しくかつ完全となるために必要なすべての情報を提供していることを保証するように設計されています。ベンチマークには、711 件の項目からなる公開セットと、811 件の項目からなる非公開セットが含まれています。 ![](https://lh3.googleusercontent.com/o1Gr2jkpDQliiXsnwl50CttQy1VoPvIyaveYz0et8KU7zVzGp0Cv6Nmkuk92FZFTlwTym-xUnnaGGtQwKWWCqib3ryideKWR8btNhYxNr5hP2HVQ=w1440) ![](https://lh3.googleusercontent.com/HNnmCFScFhiOAv4B7M9C6U3CHFwgZ_D2WM_TPpk96oYBLFSTQe3kM2zaqBJ-boHLu20neyvhYbO6NwImqW6rAYUyepBgGsPToEZwPjXJQhU-2EOl=w1440) 多モーダル・ベンチマークの一部としての画像の分布（左）および質問カテゴリの分布（右）。 例えば、多モーダル・ベンチマークの公開セットから得られた以下の画像に、「この動物はどの属に分類されるか？」というプロンプトが付随していました。 ![](https://lh3.googleusercontent.com/RaSYwSSlTwGVF3I3lfRKPSwC6PlsqzYRyF-SnebnRLFCuOxNOx6jY743QGT9WwM-Ze1gievuj6D60l82PulYNYjVMDct0OueMC1Oti5CmWbtCaL5Oy4=w1440) 多モーダル・ベンチマークからの画像の例（写真提供：Image: Racta apella by desertnaturalist, CC BY 4.0） 私たちは、更新された FACTS Grounding v2 を含む FACTS Benchmark Suite において、主要な大規模言語モデル（LLM）を評価しました。 以下の表には、15 の主要モデルとそれらの総合 FACTS スコア（および 4 つの個別ベンチマーク：Grounding、Multimodal、Parametric、Search におけるスコアの内訳）が記載されています。 ![](https://lh3.googleusercontent.com/abbClpiLAte-Kdj4zLeSNbsAwctgypFDfsTK33u8zqWTq_XkHzgszrv051GBbZldBg_zQ5h8gopJUw_W8P4vyRgWDBaz73j2jaVJuqj0Mscl8toe=w1440) ![](https://lh3.googleusercontent.com/iAa3uDNbaJxHRXomKm4RSdLPhscLpLpZ9YnhpOlB1PGoymYfdlciMbJDv_6NwiKXVRC7p_Jg0Jn23j9eYuP2MIcVpo1oAlx_T8SsPeYwMs_9cS5_=w1440) Gemini 3 Pro が総合パフォーマンスで首位に立ち、FACTS スコアは 68.8% です。特に、Gemini 2.5 Pro から Gemini 3 Pro への移行において、Search および Parametric の各スライスで顕著な改善が見られました。FACTS Search では誤り率が 55% 減少し、FACTS Parametric では 35% 減少しました。一方、FACTS Multimodal は一般的に最も低いスコアを示しました。評価されたすべてのモデルの総合精度は 70% を下回っており、今後のさらなる進歩のための十分な余地が残されています。 FACTS Benchmark Suite 以外でも、Gemini の事実性に関する改善は、別の事実性ベンチマークである SimpleQA Verified にも反映されています。SimpleQA Verified では、Gemini 2.5 Pro で 54.5% だった精度が Gemini 3 Pro では 72.1% に向上しました。SimpleQA Verified は、LLM のパラメトリック知識を短形回答でテストするものです。 LLM の事実性はまだ研究が続いている分野ですが、FACTS ベンチマークスイートと Gemini 3 Pro の結果は、情報を普遍的にアクセス可能で有用なものにするという Google の長期的なコミットメントを象徴するものです。この取り組みが LLM の事実性に関するより深い研究を促し、それらに依存する人々にとってより良く、より正確なモデルや製品につながることを願っています。 FACTS Grounding: 大規模言語モデルの事実性を評価するための新たなベンチマーク ![](https://lh3.googleusercontent.com/rtTIlDHmwtIB6faFTKsOCkY3YePeSP13jU9RYNTK7IQX1GX7wk_uD91tJdTded_ui0FHgQadqwaPQJoxBqh03h_V3Uso0RYRmP-Wp_NKTA=w352-h352-n-nu) Gemini 3 による知能の新たな時代 ![](https://lh3.googleusercontent.com/O7raO1n0ZtpUFApIntSPEjrFbwpjvV6qpz2l8f5hstJ7IQGGbsr_TpIJdGbrbtoVmBSpVPoCY3aDJn26XnpNLwkNrOHXOkB4Ng5sErrAM3VzVm9clw=w352-h352-n-nu)

FACTSベンチマークスイート：大規模言語モデルの事実性を体系的に評価

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト