適切なAI評価ツールの選択
本文の状態
日本語全文を表示中
詳細モードで約10分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hamel Husain
著者は、AI評価においてツール選びに過度に注目するのではなく、プロセス重視であるべきだと指摘。また、ツールの陳腐化が速いため比較は困難とし、自身の経験に基づき推奨ツールを示唆している。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
過去1年間、私はコンサルティング業務と講義の両方でAI評価（AI Evals）に重点を置いて取り組んできました。私が常に受ける質問は「評価に最適なツールは何ですか？」というものです。私はこれまで直接答えることを避けてきました。その理由は2つあります。第一に、人々はプロセスよりもツールに焦点を当てすぎており、ツールがすぐに使えるソリューションになると思い込んでいるからです。しかし実際には、そうなることはほとんどありません。第二に、ツールの進化があまりにも速く、比較はすぐに陳腐化してしまうからです。
多くの人気のある評価ツールを使用してきた経験から、私は正直に言えます。どのツールもすべての次元で他よりも優れているわけではありません。「最良」のツールは、チームのスキルセット、技術スタック、成熟度によって異なります。
機能ごとの比較を行うよりも、評価に精通したデータサイエンティストのパネルがこれらのツールをどのように評価するかを示す方が、より価値があると考えます。私のAI評価コースの一環として、最も支配的な3つのベンダーであるLangsmith、Braintrust、Arize Phoenixに同じ課題に取り組んでもらいました。これにより、彼らが全く同じ課題にどう取り組むかを目撃するユニークな機会を得ることができました。
私たちはそのプロセス全体とライブ解説を録画しており、以下で公開しています。チーム向けのツールを選択する際に考慮すべき事項について学ぶ上で、これが役立つかもしれません。
パネリストとして参加してくれたShreya Shankar氏とBryan Bischof氏（私自身も含まれます）に感謝いたします。
Langsmith
LangChainのCEOであるHarrison Chase氏との対談。
Braintrust
Braintrust元開発者関係担当のWayde Gilliam氏との対談。
Arize Phoenix
Arize の技術 AI プロダクトリーダーである SallyAnn DeLucia とともに。
AI 評価ツールの選定基準
レビュー中に一貫して浮上したテーマを以下に示します。
- ワークフローと開発者体験
摩擦を減らすことが、単一の機能よりも重要です。具体的には、失敗を観察してから解決策の反復を行うまでの時間を意識する必要があります。例えば、単一のトレース（trace）を表示することから、その同じトレースをプレイグラウンドで実験することに移行できる機能を高く評価しました。データサイエンスの背景を持つチームにとっては、ノートブック中心のワークフローが理想的です。これは透明性と制御性を提供するためです。実はこれが私の好みのワークフローでもあります。
ノートブック中心のワークフローを検討する際は、SDK の人間工学（ergonomics）に注意を払うことが重要です。これは往々にして、ドキュメントの質や既存のデータツールとの統合の良さに帰着します。
- 人間の関与（Human-in-the-Loop）のサポート
優れたツールは人間を自動化しようとするのではなく、人間を支援するものです。エラー分析が AI エンジニアリングにおいて最も ROI（投資対効果）の高い活動であるため、効率的な人的レビューをサポートするツールの能力が何よりも重要です。手動注釈付けやエラー分析に対して第一級のサポートを提供するツールを優先してください。本稿執筆時点では、多くのツールに欠けているものの一つとして、軸コーディング（axial coding）があります。
- 透明性と制御性 vs. 「魔法」
人間による検証なしに完全自動化を約束する機能には深く懐疑的であってください。そのような機能は、強力かつ危険な自信の錯覚を生み出す可能性があります。例えば、AI エージェントが評価基準を作成し、直ちに出力を採点するという機能には注意が必要です。この「抽象化の積み重ね」は、高いスコアによって欠陥を隠してしまうことがよくあります。制御と可視性を提供してくれるツールを選ぶべきです。
- エコシステム統合 vs 囲い込み（ウォールドガーデン）
評価ツールは、あなたがツールのスタックに合わせるのではなく、あなたのスタックに適合するものであるべきです。既存の技術との統合がどの程度良好かを確認してください。また、独自 DSL は摩擦を生む可能性があるため注意が必要です。最後に、さまざまな環境で分析するためにデータを一般的な形式へエクスポートできる機能は必須要件です。
結論
適切なツールの選択は、チームのワークフロー、スキルセット、および特定のニーズに依存します。パネルがどのようにこの評価に取り組んだかを見ていただくことで、ご自身の判断を下すためのより良い枠組みが得られることを願っています。
私個人としては、これらのツールをバックエンドのデータストアとして使用し、私の多くのニーズには Jupyter ノートブックと独自に構築した注釈付けインターフェースを使用する傾向があります。
付録：ベンダーのスナップショット（2025 年中時点）
これらのメモは鵜呑みにせず、塩を付けて受け取るべきです。上記のビデオをご覧いただき、私たちがどのようにこれらの基準を適用し、あなたのニーズに応じてどこが異なる可能性があるかを把握することをお勧めします。
Langsmith 評価ノート
全体的な評価
全体的なワークフローは直感的であり、特に形式化された評価プロセスに初めて取り組む人にとって分かりやすいです。UI は、データセットの作成、実験の実行、結果のアノテーションを行う手順を案内してくれます。
肯定的なフィードバック / 良かった点
Trace から Playground へのシームレスなワークフロー: Trace の検査から Playground 内での実験へ移行するプロセスが非常にスムーズです。
AI 支援によるプロンプト改善: 「Prompt Canvas」機能は、プロンプトエンジニアリングのための強力なツールです。
データセットの作成と管理: ファイルをアップロードすることで簡単にデータセットを作成でき、スキーマ検出機能がデータの正しい構造化を支援します。
実験と評価: 「Annotation Queue（注釈キュー）」は、Trace の人的レビューおよびラベリングに特化したインターフェースであり、スプレッドシートを使用するよりも効率的です。
批判と改善の余地
限定的な並列比較機能: UI では、異なるプロンプトバージョンとその出力を並べて比較することが容易ではありません。
UI/UX に関する懸念点: UI は少しごちゃごちゃした印象を与え、一度に多くのオプションや情報が提示されます。
過度な自動化のリスク: AI 生成による例示機能は便利ですが、データが画一的になる可能性があります。
Braintrust の評価ノート
全体的な評価
パネルは Braintrust に対して全般的に肯定的な見解を示し、そのクリーンな UI と構造化された評価アプローチを高く評価しました。人的介入を含むワークフロー（human-in-the-loop workflows）への重点的な取り組みが、同ツールの大きな強みとなりました。
肯定的なフィードバック / 良かった点
構造化された評価プロセスに焦点を当てる：デモンストレーションでは、主題の専門家を巻き込んで初期データセットを作成することから始まる、堅牢で体系的なアプローチが強調されました。
清潔で直感的なユーザーインターフェース（UI）：パネルは、この UI が他のツールよりも清潔でナビゲーションが容易であり、特にトレース表示画面が見やすいと評価しました。
人間をループに組み込んだワークフローへの強力なサポート：本プラットフォームには、人間のレビューや注釈付けのために設計された専用 UI があり、高品質なデータセットの作成やエラー分析を行う上でこれは極めて重要です。
「マネーテーブル」：失敗モードでトレースに注釈をつけた後、最終的なデータセットビューは、チームが最も一般的な失敗モードをすばやくソート、フィルタリング、定量化できる実行可能な出力となります。
批判と改善の余地
「Loop」AI スコアラー：最大の懸念点は、「Loop」という機能でした。これは評価ルブリックを作成し、すぐに出力にスコア付けを行う AI エージェントですが、これが誤った安心感をもたらす可能性があります。
独自クエリ言語（BTQL）への依存：パネルは「BTQL」の使用に対してやや懐疑的な見解を示し、データを Jupyter ノートブックへエクスポートする方を好むと述べていました。
ぎこちないデータワークフロー：合成データの生成および精緻化のプロセスが非効率的に思われ、ステップ間でデータのダウンロードと再アップロードが必要でした。
Arize Phoenix 評価ノート
全体的な評価
パネルは Phoenix に対して全般的に肯定的な見解を持っており、あるパネリストはこれを「お気に入りのオープンソース評価ツールの一つ」と呼びました。このツールは、開発者ファーストでノートブック中心のプラットフォームとして位置づけられています。
肯定的なフィードバック / 私たちが気に入った点
ノートブック中心のワークフロー：評価プロセス全体が Jupyter ノートブックから駆動されており、開発者に透明性とコントロールを提供しています。注釈付きデータを Pandas DataFrame へエクスポートできる機能は非常に強力でした。
UI と開発者体験：プロンプト管理 UI は明確で理解しやすいと高く評価されました。トレースと「Playground」間の緊密な統合も、スムーズなワークフローとして注目されました。
オープンソースかつローカルファーストのアプローチ：Phoenix は完全にローカル環境で実行可能であり、コントロール感と透明性を提供します。オープンソースツールであるため、「ハック可能（改造可能）」である点も指摘されました。
批判と改善の余地
UI の可読性：デモ中の出力パネル内のテキストが読みづらく、モデル出力に対するマークダウンレンダリングが不足している可能性があります。
指標と可視化：ツールは各ランごとのポイント統計を表示しますが、パネルはこの有用性が限定的であると見なし、外れ値を特定するためのヒストグラムなどの集計可視化を望む声がありました。
プロンプト管理とテスト：プロンプトエディタはシステムプロンプトを1 つの巨大な単一ブロックとして扱います。個々の指示をオンオフ切り替え可能（「アブレーション」）にするよりコンポーネントベースのアプローチの方が、体系的なテストには好ましいでしょう。
原文を表示
Over the past year, I’ve focused heavily on AI Evals, both in my consulting work and teaching. A question I get constantly is, “What’s the best tool for evals?”. I’ve always resisted answering directly for two reasons. First, people focus too much on tools instead of the process, thinking the tool will be an off-the-shelf solution when it rarely is. Second, the tools change so quickly that comparisons become outdated immediately.
Having used many of the popular eval tools, I can genuinely say that no single one is superior in every dimension. The “best” tool depends on your team’s skillset, technical stack, and maturity.
Instead of a feature-by-feature comparison, I think it’s more valuable to show you how a panel of data scientists skilled in evals assesses these tools. As part of my AI Evals course, we had three of the most dominant vendors—Langsmith, Braintrust, and Arize Phoenix complete the same homework assignment. This gave us a unique opportunity to see how they tackle the exact same challenge.
We recorded the entire process and live commentary, which is available below. We think this might be helpful in learning about the kinds of things you should consider when selecting a tool for your team.
Thanks to Shreya Shankar and Bryan Bischof for serving as the panelists (alongside me).
Langsmith
With Harrison Chase, CEO of LangChain.
Braintrust
With Wayde Gilliam, former developer relations at Braintrust.
Arize Phoenix
With SallyAnn DeLucia, Technical AI Product Leader at Arize.
Criteria for Assessing AI Evals Tools
Here are themes that consistently surfaced during our review.
- Workflow and Developer Experience
Reducing friction is more important than any single feature. Concretely, you should be mindful of the time it takes to go from observing a failure to iterating on a solution. For example, we appreciated the ability to go from viewing a single trace to experimenting with that same trace in a playground. For some teams with data-science backgrounds, a notebook-centric workflow is ideal as it provides transparency and control. This happens to be my preferred workflow as well.
When considering a notebook-centric workflow, its important to pay attention to the ergonmics of the sdk. This often boils down to the quality of the documentation and integration with existing data tools.
- Human-in-the-Loop Support
The best tools don’t try to automate away the human; they empower them. Since error analysis is the highest ROI activity in AI engineering, a tool’s ability to support efficient human review is paramount. Prioritize tools with first-class support for manual annotation and error analysis. As of this writing, one thing that is missing from many tools is axial coding.
- Transparency and Control vs. “Magic”
Be deeply skeptical of features that promise full automation without human validation, as these can create a powerful and dangerous illusion of confidence. For example, be wary of features where an AI agent both creates an evaluation rubric and then immediately scores the outputs. This “stacking of abstractions” often hides flaws behind a high score. Favor tools that give you control and visibility.
- Ecosystem Integration vs. Walled Gardens
An eval tool should fit your stack, not force you to fit its stack. Assess how well a tool integrates with your existing technologies. Also, beware of proprietary DSLs as they can add friction. Finally, the ability to export data into common formats for analysis in a variety of environments is a must-have.
Conclusion
The right choice of tool depends on your team’s workflow, skillset, and specific needs. I hope seeing how our panel approached this evaluation provides a better framework for making your own decision.
As for me personally, I tend to use these tools as a backend data store and use Jupyter notebooks as well as my own custom built annotation interfaces for most of my needs.
Appendix: Vendor Snapshots (As of Mid-2025)
You should take these notes with a grain of salt. I recommend watch the videos above to get a sense of how we applied these criteria and where you might differ according to your neeeds.
Langsmith Evaluation Notes
Overall Sentiment The overall workflow is intuitive, especially for those new to formal evaluation processes. The UI guides you through creating datasets, running experiments, and annotating results.
Positive Feedback / What We Liked
Seamless Workflow from Trace to Playground: The transition from inspecting a trace to experimenting with it in the playground is very smooth.
AI-Assisted Prompt Improvement: The “Prompt Canvas” feature is a powerful tool for prompt engineering.
Dataset Creation and Management: You can easily create datasets by uploading files, and the schema detection helps structure the data correctly.
Experimentation and Evaluation: The “Annotation Queue” is a dedicated interface for human review and labeling of traces, which is more efficient than using spreadsheets.
Critiques and Areas for Improvement
Limited Side-by-Side Comparison: The UI doesn’t make it easy to see side-by-side comparisons of different prompt versions and their outputs.
UI/UX Concerns: The UI can feel a bit cluttered, with a lot of options and information presented at once.
Potential for Over-Automation: Features like AI-generated examples, while convenient, can lead to homogenous data.
Braintrust Evaluation Notes
Overall Sentiment The panel had a generally positive view of Braintrust, highlighting its clean UI and structured approach to evaluations. The tool’s emphasis on human-in-the-loop workflows was a significant strength.
Positive Feedback / What We Liked
Focus on a Structured Evals Process: The demonstration emphasized a solid, methodical approach, starting by involving subject-matter experts to create an initial dataset.
Clean and Intuitive User Interface (UI): The panel found the UI to be clean and easier to navigate than other tools, with a particularly readable trace viewing screen.
Strong Support for Human-in-the-Loop Workflows: The platform has dedicated UIs designed for human review and annotation, which is critical for creating high-quality datasets and performing error analysis.
The “Money Table”: After annotating traces with failure modes, the final dataset view is an actionable output that allows teams to quickly sort, filter, and quantify the most common failure modes.
Critiques and Areas for Improvement
The “Loop” AI Scorer: The most significant concern was the “Loop” feature, an AI agent that creates an evaluation rubric and then immediately scores the outputs, which could lead to a false sense of security.
Reliance on a Proprietary Query Language (BTQL): The panel viewed the use of “BTQL” with mild skepticism, stating a preference for exporting data to a Jupyter notebook.
Clunky Data Workflows: The process for generating and refining synthetic data seemed inefficient, requiring downloading and re-uploading data between steps.
Arize Phoenix Evaluation Notes
Overall Sentiment The panel had a generally positive view of Phoenix, with one panelist calling it one of his “favorite open source eval tools.” The tool is positioned as a developer-first, notebook-centric platform.
Positive Feedback / What We Liked
Notebook-Centric Workflow: The entire evaluation process was driven from a Jupyter notebook, giving the developer transparency and control. The ability to export annotated data back into a Pandas DataFrame was a powerful feature.
UI & Developer Experience: The prompt management UI was praised for being clear and easy to understand. The tight integration between traces and the “Playground” was also noted as a smooth workflow.
Open Source & Local-First Approach: Phoenix can be run entirely locally, providing a sense of control and transparency. As an open-source tool, it was noted for being “hackable.”
Critiques and Areas for Improvement
UI Readability: The text in the output panes was difficult to read during the demonstration, with a possible lack of markdown rendering for model outputs.
Metrics and Visualization: The tool displays point statistics for each run, but the panel found this of limited use and expressed a desire for aggregate visualizations like histograms to identify outliers.
Prompt Management and Testing: The prompt editor treats the system prompt as one large, monolithic block of text. A more component-based approach where individual instructions could be toggled on and off (“ablated”) would be preferable for systematic testing.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み