2026 年 LLM 評価ツールのベスト 7 を Pydantic が選定

Bill Easton 著。最終更新日：2026 年 8 月 26 日。

LLM アプリケーションの評価において、指標を選ぶこと自体はそれほど難しくはありません。真に難しいのは、その数値がどこから来たのかを理解し、その数値を生成した実行履歴にアクセスできるか確認すること、そして毎日数値を生成し続けるためにどれほどのコストがかかるかを把握することです。

要約すると、Pydantic Logfire は評価結果と、それを裏付けるプロダクショントレースを 1 つのシステムで一元管理したい場合に最適です。Braintrust は、専用の評価ワークスペースとホスト型プレイグラウンドを必要とするチーム向けです。Langfuse は MIT ライセンスの核心部分を自前で実行できる選択肢を提供します。LangSmith はすでに LangChain や LangGraph を基盤としたアプリケーションに適しています。Arize Phoenix は、あらゆる OTLP ソースからのスコアリングに対応する無料のローカルファーストオプションです。Confident AI は DeepEval 経由で 50 以上の事前定義済みメトリクスを提供します。Galileo は、専用設計のジャッジモデルを用いたエンタープライズ規模のスコアリングを目指しています。

以下の価格とライセンス情報は、2026 年 8 月 26 日時点での各ベンダーの公式ページやドキュメントに基づいて確認したものです。それぞれに適用されるプランと期間が明記されています。これは非常に重要です。同じワークロードでも、どのメトリクス（指標）をトリガーするかによって、コストは無料から月額数千ドルまで大きく変動する可能性があるからです。

専用評価ツールを求める理由

テストスイート自体にはスコアがありません。pytest は単に「合格」か「不合格」かを返すだけです。モデルの出力に関する最も興味深い質問は、すべて何らかの評価基準で判断されます。「この要約はソースに対して忠実か」「エージェントは適切なツールを選択したか」「拒絶応答が適切だったか」といった問いです。これらの中にはアサーション（断言）として扱えるものもありますが、スコアリングモデルを必要とするケースも少なくありません。

デプロイを行わなくても、レグレッション（品質の低下）は発生します。プロバイダーが新しいモデルのスナップショットをリリースしたり、検索インデックスが更新されたり、ユーザーが質問の表現方法を変えたりするだけで、リポジトリ内のコードは一切変更されていなくても、システム品質は悪化することがあります。

根拠のないスコアは行き止まりに過ぎません。「忠実度が 0.71 に低下した」という数値は、結論ではなく起点にすぎません。これを改善するには、その 0.71 というスコアがついた特定のランにおけるプロンプト、取得されたチャンク（断片）、そしてツール呼び出しを一つひとつ読み解く必要があります。

評価にはそれなりのコストがかかります。ベンダーによってはスコアごとに課金するところもあれば、トレースや観測データ、スコアをすべて合わせて請求する場合もあります。さらに、スパンストレージの容量（ギガバイト・月）で課金されるケースもあります。ツールを使う目的はより多くの評価を行うことですが、これらのプラットフォームの多くでは、評価回数を増やすことが請求額を急激に引き上げる最速の方法でもあります。

オフライン評価、オンライン評価、LLM-as-a-judge は別々のツールではない

このカテゴリの比較ページでは、これらをチェックボックスで選べる 3 つの機能のように扱っていることが多いですが、それは誤りです。そのうち 2 つは評価を実行する場所（環境）であり、残りの 1 つはスコアを算出する方法に過ぎません。

オフライン評価とは、固定されたデータセットを意図的にシステムに通すことです。データセットとは再利用可能なケースの集合体で、各ケースには入力と、必要に応じて期待される出力、そしてメタデータが含まれます。そのデータセットに対してシステムを実行した 1 つの試みが「実験」であり、異なる実験同士を比較することで、変更が効果があったかどうかを検証します。詳細については、「Our datasets and experiments guide」をご覧ください。

オンライン評価（online evals）では、評価器を実際の生産環境トラフィックに直接接続し、通常はサンプリングされたリクエストを評価対象とします。ここで問われるのは、「この変更がテストセットを改善したか」ではなく、「ユーザーが実際に送信しているものがまだ正常に動作しているか」という点です。Pydantic Logfire におけるオンライン評価のワークフローについては以前解説しました。

「LLM-as-a-judge（LLM を審査員として用いる手法）」は、どちらの評価モードでも機能するスコアリング方法です。これに対する代替手段には、決定論的なチェック（JSON の検証、引用の存在確認、レイテンシが上限内であるかの確認など）や人間によるラベル付けがあります。これら 3 つを組み合わせるのは、購入先の選択というよりワークフローの設計上の判断であり、Airbnb が採用している 3 層アプローチの詳細はコード例を通じて解説しています。

ここで重要なのは、比較ページでチェックマークが並ぶ列ではもはや製品の違いを明確に区別できない点です。簡易な一覧表では、各ツールが 3 つの評価モードのいずれに対応しているかを記録し、ベンダーのドキュメントへのリンクも掲載されます。真に製品を分けるのは、スコアがどこに位置づけられるか、課金の単位が何であるか、そしてそのスコアに至るまでのトレース（追跡情報）までどれだけの距離があるかという点です。

比較方法

最初の 1 ヶ月を経て重要性が増してくる 5 つの基準を、おおよそ優先順に並べました：

スコアの位置づけ。評価結果は、そのトレースと並んで第一級のリコードとして扱われるのか、それとも別々の評価データベース内のオブジェクトとして管理されるのか。

課金単位。スコア、トレース、ユニット、ギガバイト・ヶ月、ライセンス数（seats）などは互換性がありません。ベンダーが採用する課金単位は、あなたの運用習慣のどの部分がコスト増に直結するかを示しています。

ライセンスの扱いが重要です。MIT や Apache 2.0 はオープンソースライセンスですが、Elastic License 2.0 は「ソース利用可能」です。コードは閲覧・実行できますが、管理型サービスとして第三者に提供することはできません。セルフホスティングを計画している場合、この違いが選択を分けます。

インストルメンテーションの移植性も鍵となります。7 つのツールすべてが OpenTelemetry（OTLP）に対応しており、ベンダーを変更してもトレーシングデータは引き継げます。ただし、評価結果の一部はそうはいきません。スコアが独自のオブジェクト型で定義されている場合、ベンダー変更時にそのデータが残ってしまう可能性があります。

さらに、評価機能以外の用途にも対応しているかも確認が必要です。一部のツールは評価専用製品ですが、他方は内部に評価機能を備えた可観測性プラットフォームです。どちらも正当な選択肢ですが、間違ったタイプを選べば大きなコストがかかります。

以下の各項目には一次情報源へのリンクを記載していますので、ご自身で確認可能です。

2026 年最高の LLM 評価ツール

#1. Pydantic Logfire：総合ベストの LLM 評価ツール

Pydantic Evals はコードファーストのアプローチを採用しています。データセット、ケース、タスク、評価器はすべてリポジトリ内のオブジェクトとして管理され、テスト対象のアプリケーションと同じくバージョン制御されます。Python を使わないチーム向けに、同じ基本機能を持つ TypeScript SDK も用意されています。

評価は完全にローカル環境で実行可能です。Logfire 連携を設定すれば、すべての実験が OpenTelemetry の評価イベントとして出力されるため、評価結果はスパンやログと同じストア内の通常のレコードとして保存されます。PostgreSQL と互換性のある SQL でクエリを実行できます。

ライブ評価では、サンプルされた本番トラフィックに対して同じ評価基準を適用するため、一つの基準で両方のモードに対応可能です。独立したスコア計測器は存在せず、スコア自体がレコードとして扱われます。無料の Personal プランでも月間 1,000 万件のレコードまで利用できます。サービスから離れる場合も、SDK を介して任意の OTLP バックエンドへエクスポート可能です。

セルフホスティングは Enterprise プランのみで提供されるため、オンプレミス環境への厳格な要件があるチームは、インストールする Helm チャート自体がオープンソースであるにもかかわらず、まずは営業担当との相談から始める必要があります。Personal と Team プランではデータ保持期間が 30 日間ですが、月額 249 ドルの Growth プランからは最大 90 日間の保持が可能になります。

Logfire は評価機能を内包した包括的な観測プラットフォームであり、評価ツールのみを必要とするチームにとっては、使用しない機能まで含めた広範なサービスを購入することになります。

平均値の推移を見守るのではなく、失敗したケースをデバッグし、一つのシステム内で完結させたいチームに最適です。

#2. Braintrust: 専用の評価ワークスペースこそが目的の場合

Braintrust は、実験、プロンプト反復用のホスト型プレイグラウンド、人間のレビュー、並列比較という評価ループを中心に構成されています。OpenTelemetry の受け入れは https://api.braintrust.dev/otel で可能で、EU データプレーンも利用可能です。無料の Starter プランには月額 0 ドルで、10,000 スコア、処理済みデータ 1 GB、14 日間の保持期間が含まれています。

スコアそのものが指標となります。Braintrust の請求 FAQ では、スコアを「オフラインまたはオンライン評価の結果」と定義し、それぞれをカウントするため、増加する数字こそが製品が存在する目的です。無料枠を超えた場合の料金は、Starter プランで 1,000 スコアあたり 2.50 ドル、Pro プランで 1,000 スコアあたり 1.50 ドルです。Pro プランは月額 249 ドルで、50,000 スコアと 5 GB のストレージが含まれます。OTLP 取り込みにはルートスパンが必要で、ドキュメントでは子スパンのみで構成されたトレースはログテーブルに表示されない旨が記載されています。セルフホスティングは Enterprise プランでのみ利用可能です。

Logfire を活用した評価に焦点を当てた夜間のベンチマークでスコアの計算を実行し、その計算結果が納得できるチーム向けの移行パスについても解説しました。

専用設計の評価ワークスペースが必要で、スコア発生量が予測可能である場合に Braintrust を選ぶのが最適です。

#3. Langfuse: MIT ライセンスのセルフホスティングが必要な場合

Langfuse のコア部分は MIT ライセンスで提供されており、同社はすべてのコア機能と API が制限なくセルフホスト可能なオープンソースビルドで利用可能だと明言しています。OTLP を HTTP/JSON および HTTP/protobuf で取り込み、サーバーサイドで LLM-as-a-judge による評価を実行し、オフライン実験用のデータセット実行もサポートします。

2026 年 1 月には ClickHouse が Langfuse を買収し、オープンソース化とセルフホストの継続を約束しました。

導入前に知っておくべき境界線が二つあります。まずセルフホスト環境では、プロジェクトレベルの RBAC（ロールベースアクセス制御）、データ保持ポリシー、監査ログ、サーバーサイドでのデータマスキング、SCIM 連携といった機能を利用するには、エンタープライズライセンスキーが必要です。

クラウド版の場合、課金単位は「トレース」「観測点」「スコア」の合計です。Langfuse によると、LLM-as-a-judge や注釈キューで生成された評価スコアもカウントされるため、評価処理が集中する月は三つの要素が同時に課金対象となります。

料金プランでは、ホビー版は月額無料（月間 50,000 ユニット、ユーザー数 2 名まで）、コア版は月額 29 ドル（月間 100,000 ユニット）で、追加の 100,000 ユニットごとに 8 ドルがかかります。

このツールが適しているのは、OSI 認定ライセンスの下でプラットフォームを自前で運用したいチームです。ライセンス必須機能を使わずに済む場合や、必要に応じて有料化を受け入れる場合に最適でしょう。

#4. LangSmith：すでに LangChain や LangGraph を活用しているアプリケーション向け

LangSmith は LangChain と LangGraph の開発チームによって提供されているため、これらのフレームワークのトレーシングには追加の計測設定は不要です。データセットと実験機能はオフライン評価をカバーし、オンライン評価では生産環境の実行サンプルに対して「LLM-as-a-judge（LLM を裁判官として用いる）」方式の評価器を実行します。これにより、評価コストはサンプリングレートに連動して変動します。

開発者向けプランは無料で利用できますが、利用可能な席数は最大 1 つまでと制限されており、月間の基本トレース数は 5,000 件までです。

有料プランの料金体系には 2 つの軸があります。Plus プランは月額 39 ドルで、1 席あたり 10,000 件の基本トレースが含まれます。それを超える場合は、LangChain Storage Units（LSU）という従量課金方式が適用され、単位あたり 1.00 ドルです。基本トレースの保存期間はデフォルトで 14 日間ですが、有料オプションを契約することで最大 400 日間の長期保存へ延長可能です。

OTLP（OpenTelemetry Protocol）経路には、文書化された既知の欠陥モードが存在します。親スパンが LangSmith に送信されない場合、その子スパンは通知もなく削除されてしまいます。これは、テレメトリデータを複数のバックエンドに分散して配信するチームにとって重大なリスクとなります。セルフホスト型やハイブリッドデプロイメントの利用には、Enterprise プランへの加入が必要です。

LangChain または LangGraph に標準化されたチームに適しています。フレームワークとの統合によるメリットが、1 席あたりの料金に見合う場合や、14 日間のデフォルト保存期間で十分である場合に推奨されます。

#5. Arize Phoenix：無料のローカルファースト評価アプリ

Phoenix は、ノートパソコン上、Docker コンテナ内、または Kubernetes クラスター上で動作します。Arize 社によれば、セルフホスト環境での利用は無料で、ライセンス料も使用制限も機能制限もありません。

OpenInference のセマンティック規約に基づき OTLP を取り込みます。トレースをデータセットにグループ化することで、新しいバージョンのモデルに対して再実行が可能になります。また、LLM による評価器、コードベースのチェック、または人間のラベル付けを用いて、トレースやスパンの評価スコアを算出できます。

Phoenix はオープンソースではなく、ソースコードが公開されているソフトウェアです。このリポジトリは Elastic License 2.0 の下で提供されており、第三者に対してホスト型または管理型のサービスとしてソフトウェアを提供することを明確に禁止しています。自社の製品に組み込むことを検討している場合は、まずこの条項を確認する必要があります。

ホスト型ソリューションとしては Arize AX が挙げられます。利用料はスパン数に応じて課金されます。無料プラン（AX Free）では月間 25,000 スパンまで利用でき、データ保持期間は 15 日です。一方、有料プランの Pro では月額 50 ドラで、月間 50,000 スパンと 10 GB のストレージが利用可能です。ただし、本番環境のエージェントからのトラフィックに対してはこれらの許容量はすぐに上限に達してしまいます。

このツールは、自社ハードウェア上で即座に評価 UI を構築したいチームや、標準化する前にライセンス条件を慎重に確認するチームに適しています。

#6. Confident AI (DeepEval): DeepEval のメトリックカタログが魅力

DeepEval は Apache 2.0 ライセンスの下で提供されており、Python と TypeScript で利用可能な 50 以上の評価メトリックをすぐに使用できる形で用意しています。これらのメトリックの多くは、G-Eval、DAG、QAG という手法を用いて LLM が採点を行います。

Confident AI はその上に構築されたホスト型プラットフォームです。HTTP を介して OTLP（OpenTelemetry Protocol）を受け取り、取り込んだトレースやスパンに対してメトリック収集を実行します。これにより、スコアリングのパスを自分で記述することなく、オンラインでの評価が可能になります。

無料プランは、実用的な利用枠というよりは試用期間のような構成です。2 セット、1 プロジェクト、週 5 回のテスト実行、そして 1 GB・月のトレーススパンが提供されますが、上限を超えるとスパンは破棄されます。

次のステップである Starter プランは月額 200 ドルで、2 人チームにとっては最初の有料プランとしては高額に感じられるかもしれません。課金単位は追加の GB・月あたり 1 ドルのストレージ容量ですが、レコード数やトレース数をカウントするよりも、アプリケーションコードから予測しにくい仕組みです。

また、OTLP エンドポイントは HTTP のみに対応しており、gRPC はサポートされていません。さらに、プラットフォームをセルフホストする場合も Enterprise プランでの契約が必要です。

DeepEval が提供する 50 以上のメトリクスに対して評価スクリプトを書くチームには特におすすめです。購入の有無に関わらずライブラリは Apache 2.0 ライセンスで利用可能です。有料化されるのは、月額 200 ドルから始まるホスト型プラットフォームの部分だけです。

#7. Galileo：大量処理における評価モデルのコストがボトルネックになる場合

Galileo の Luna-2 小型言語モデルは、汎用的なチャットではなく評価に特化して訓練されています。これは、多くのチームが評価用モデルをサンプリングする理由への直接的な回答です。つまり、汎用モデルでは処理速度が遅く、コストが高すぎるためです。

メトリクスは実験データとライブログストリームの両方に適用可能です。カスタムメトリクスは LLM による採点またはコードベースで定義でき、OTLP トレースも受け付けます。無料プランでは月間 5,000 トレースまで利用可能で、ユーザー数に制限はありません。

Proプランは月額100ドルで、年間課金時に50,000件のトレースが含まれます。価格ページには、コストがトレース量に応じてスケールすると記載されていますが、超過分の料率（オーバーレイジレート）は公開されていません。そのため、指定された枠を超えた利用分は計算ではなく見積もりとなります。

シスコシステムズは2026年4月9日、Galileoの買収意向を発表しました。その後、同発表には2026年5月22日の更新が加えられ、「Galileoの買収を完了できたことを喜ばしく思います」と明記されています。これにより、Galileoのロードマップはより大規模な観測（オプサーバビリティ）ポートフォリオの一部となり、製品の長期的な方向性は他社が決めることになります。

これは、評価モデル自体のトークン使用量がボトルネックとなるような大量データを扱う企業にとって特に重要なポイントです。

一覧比較

ツール | ライセンス | セルフホスティング | オフライン評価 | オンライン評価 | LLM-as-a-judge | OTLP取り込み | フリーティア | 有料プラン開始 | 課金単位

---|---|---|---|---|---|---|---|---|---

Pydantic Logfire | SDKs: MIT、プラットフォーム：独自 | エンタープライズプランのみ | PythonまたはTypeScriptでデータセットと実験 | サンプリングされたライブトラフィック上で同じ評価器クラスを使用 | 組み込みのLLMJudgeとカスタム評価器を併用 | ネイティブ対応。SDKは任意のOTLPバックエンドへエクスポート可能 | パーソナルプラン：月額0ドル（1,000万件、保存期間30日） | チームプラン：月額49ドル（1,000万件以降、追加は2ドル/M） | テレメトリ記録。スコアごとの別料金はなし

Braintrust

Proprietary（専用）

Enterprise（エンタープライズ向け）

Python と TypeScript 対応の評価スイートに加え、ホスト型のプレイグラウンドを提供します。

SDK を通じてオンラインでスコアを記録し、オフライン計測と同様に集計可能です。LLM による評価とコードスコーラーに対応しています。

エンドポイントは api.braintrust.dev/otel にあり、トレースにはルートスパンが必要です。

• Starter（無料）：月額$0、10k スコア、ストレージ 1GB、データ保持期間 14 日
• Pro：月額$249、50k スコア、ストレージ 5GB、データ保持期間 30 日

課金対象はスコア数、処理済み GB、および保持期間（GB・月）です。

Langfuse

Core は MIT ライセンス、ee/ ディレクトリ以降は商用ライセンスとなります。

コア機能は無料ですが、ロールベースアクセス制御（RBAC）、監査ログ、データ保持ポリシーを利用するにはライセンスキーが必要です。

データセットとデータセット実行に対応し、本番環境のトレース上で管理型評価器を実行できます。LLM をジャッジとして利用する機能も提供しており、各スコアが課金単位となります。

通信プロトコルは HTTP/JSON と HTTP/protobuf で、gRPC は非対応です。

• Hobby（無料）：月額$0、5 万ユニット、ユーザー数 2 名まで、データアクセス期間 30 日
• Core：月額$29、10 万ユニットまで。それ以降は 10 万ユニットあたり$8

課金単位はトレース、観測値、スコアの合計です。

LangSmith

Proprietary（専用）

Enterprise（オンプレミスまたはハイブリッド構成）

データセットと実験機能を提供します。本番環境の実行に対してサンプリング率を指定した自動化が可能です。ランレベルで LLM をジャッジとして利用できます。

エンドポイントは api.smith.langchain.com/otel にあり、孤立したスパンは破棄されます。

• Developer（無料）：月額$0、最大 1 セット、ベーストレース 5k
• Plus：月額$39/セット、ベーストレース 10k

課金体系はセット数とベーストレース数で、ストレージ単位は$1.00 相当のユニットで計算されます。

Arize Phoenix

Elastic License 2.0（ソースコード非公開）

無料のセルフホスト、機能制限なし

データセットと実験の再実行

LLM、コード、または人間のラベルに基づくトレースとスパンの評価スコア

事前構築済みおよびカスタム LLM 評価器

ネイティブ対応、OpenInference 規約準拠

セルフホストは無料；AX Free は月額 0 ドル（25k スパン、15 日間のデータ保持）、AX Pro は月額 50 ドル（50k スパン、10 GB）

スパンとストレージ容量は AX で管理、ハードウェアは自社で用意

Confident AI (DeepEval)

DeepEval は Apache 2.0 ライセンス、プラットフォーム部分は独自ライセンス

エンタープライズ向け（コンテナ化）

50 以上の即利用可能なメトリクスを備えた DeepEval テスト実行

取り込んだスパンに基づくメトリックコレクション

G-Eval、DAG、QAG メトリクス対応

HTTP のみ対応（otl.confident-ai.com）、gRPC は非対応

無料プラン：月額 0 ドル（2 セット、1 プロジェクト、週 5 回のテスト実行、1 GB・月）

スタータープラン：月額 200 ドル（スパン容量 5 GB・月）

トレーススパンの追加容量は 1 GB・月あたり 1 ドル

Galileo

独自ライセンス

エンタープライズ向け（ホスト型、VPC、オンプレミス対応）

実験機能

ライブログストリーム上のメトリクス評価

Luna-2 評価モデルと LLM-as-a-judge 対応

エンドポイント：api.galileo.ai/otel/traces

無料プラン：月額 0 ドル（5,000 トレース、ユーザー数無制限）

プロプラン：年間請求で月額 100 ドル（50k トレース）

トレース容量、超過料金は非公開

上記の価格情報は、各ベンダーが 2026 年 8 月 26 日に公表した資料に基づき確認したものです。なお、これらのツールのすべてでモデル推論は別途課金されます。

選び方

スコアとそれを生成したトレースを一つの場所で管理したいなら「Pydantic Logfire」が最適です。

専用評価ワークスペースとプロンプトプレイグラウンドが必要で、評価ボリュームの予測が可能な場合は「Braintrust」をおすすめします。

OSI 承認ライセンスの下でのセルフホスティングが必須条件なら、Langfuse が適しています。

テレメトリデータをネットワーク外に出したくない場合や、サポート付きデプロイの予算がある場合は、フルプラットフォームをセルフホスティングできる Pydantic Logfire のエンタープライズ版がおすすめです。

アプリケーションが LangChain または LangGraph で、ネイティブな統合性を最優先するなら、LangSmith が最適です。

今日から自社のハードウェア上でゼロコストで運用したい場合や、再販売する予定がない場合は Arize Phoenix を検討してください。

プラットフォーム導入前に、コピーできる大規模なメトリックカタログが必要なら、DeepEval（ホスト型・非ホスト型問わず）が役立ちます。

生産環境のトラフィック量が多く、評価用モデルのトークン利用料がボトルネックになっている場合は Galileo が適しています。

コスト効率と評価の頻度を重視する場合は、基本価格ではなくメーター課金方式を比較してください。スコア単位での課金とレコード単位での課金では、同じ nightly スイートの請求額が大きく異なります。

既存のセットアップがまだ最適解である場合

すべてのチームにこれらのツールが必要というわけではありません。CI 内の数個のアサーションとスプレッドシートで評価を済ませ、スプリントごとに一度だけ確認する程度なら、プラットフォームを導入してもベンダーが増えるだけで洞察は得られません。まずは失敗したケースを書き出すことから始めましょう。

すでに Braintrust や Langfuse を運用しており、1 年分の実験履歴がある場合、その履歴自体が大きなスイッチングコストとなります。メーター課金が実際に問題を引き起こしていない限り、上記の差異のためにこれらのベースラインを失う価値はありません。

オンプレミス環境での運用が必須の場合、Logfire のセルフホスティング機能は Enterprise プランに含まれます。予算が限られる場合は、MIT ライセンスの Langfuse か、サービスとして提供しない場合に限り Elastic License 2.0 の Phoenix が現実的な選択肢となります。

よくある質問

オフラインとオンラインの LLM 評価の違いは何ですか？

判断基準はシンプルです。オフラインは「自分が変更を加えた場合」に使い、オンラインは「自分では変更していないが起きた変化」を検出するために使います。プロンプトやモデルの変更を本番環境に反映させる前に必ずデータセットでテスト（オフライン評価）を行い、デプロイ前の regressions を未然に防ぎましょう。一方、プロバイダーのスナップショット更新、インデックスの再構築、ユーザー行動の変化などは、デプロイを伴わずに発生します。これらを検知するには、実際のトラフィックをスコアリングするオンライン評価が唯一の方法です。

LLM をジャッジ（判定者）として使う精度は信頼できるのでしょうか？

有用ではあります。しかし、無監督の状態でそのまま使うのは危険です。実用的なアプローチとしては、各ジャッジの役割を狭く絞り込み、必ず理由を記録させるようにし、小規模な正解データセット（gold set）を用いて人間によるラベルと照合してキャリブレーションを行うことです。また、確定的に回答可能な質問については、ドリフトの影響を受けず、コストも安く、処理速度も速い「決定論的なチェック」を必ず併用すべきです。

本物のオープンソース LLM 評価ツールはどれですか？

Langfuse のコア部分は MIT ライセンス、DeepEval は Apache 2.0、Logfire の SDK も MIT です。Arize Phoenix は Elastic License 2.0 でソースコードが公開されていますが、これはセルフホスティングを許可する一方で、第三者に対して管理型サービスとして提供することを禁じています。Braintrust、LangSmith、Galileo はいずれも専用プラットフォームです。この違いは、特にセルフホスティングが必須条件となる場合に重要になります。

観測機能（Observability）があれば、評価ツールは別途必要か？

それは、あなたの観測プラットフォームが評価結果を「ファーストクラスデータ」として扱えるかどうかによります。もしスコアが別のシステムに格納されている場合、回帰分析のたびに手動で2つの製品間での結合処理が必要になります。一方、スコアとスパン（トレース単位）が同じ場所にあれば、失敗したスコアの背後にあるトレースはワンクリックで確認できます。

LLM アプリケーションの評価を始める最も安価な方法は？

まずはオープンソースのライブラリに対してテストケースを作成し、ローカル環境で実行することです。Pydantic Evals や DeepEval のようなツールが役立ちます。