データサイエンティストの復活

データサイエンティストの復活：AI エンジニアリングが陥る「勘」の罠と科学的アプローチへの回帰

現在の AI エンジニアリングは、汎用的な指標や LLM による自動採点への盲信によって、「勘」に頼った開発プロセスへ後退しているという指摘があります。本記事では、生成 AI システムの実装現場で頻発する評価の失敗パターンを分析し、データサイエンスの科学的アプローチ——データの探索、厳密な検証、メトリクス設計——を再導入することで、より堅牢でビジネス価値のある AI を構築する方法を解説します。

汎用指標の罠：「ハルシネーション」に惑わされないために

多くのチームが陥る最初のミスは、「有用性」や「一貫性」、そして「ハルシネーション」といった曖昧な汎用メトリクスに頼ることです。ソフトウェア開発ではレイテンシや稼働率といった標準的な指標が存在しますが、AI アプリケーションには万能な指標は存在しません。

「医療文脈でのハルシネーションと、法的文脈でのハルシネーションの定義は異なるはずです」

同じ「ハルシネーション」という言葉でも、アプリが扱うドメインや使用するツールによってその意味するバグの内容は全く異なります。市販の評価パッケージを安易に適用するのは危険です。

解決策：アプリケーション固有の障害モードを発見する

データサイエンティストとして取り組むべきは、データを探索し、システムが具体的にどこで失敗しているかを特定することです。以下のような手順が有効です。

1. データの可視化: Codex や Cursor などの AI ツールを活用し、独自のインターフェースを構築してトレース（実行ログ）を読み込みます。
2. 障害モードの分類: エージェントの各メッセージや出力を一つずつ確認し、「何が間違っているか」をオープンノートとして書き出します。例えば、不動産ツアーアプリであれば「ツアーがない時に再スケジュールしようとする」「時間を幻覚のように生成する」といった、そのアプリ固有の問題点を抽出します。
3. スケーラブルな分析: 発見した問題点を分類し、システム全体の傾向を把握します。

LLM 判定器の盲信：不正確な分類器として扱うべき理由

失敗モードを発見した後、多くのチームは「この問題はデータでどの程度発生しているか」を確認するために、再び LLM に問いかけます。しかし、LLM 判定器（ジャッジ）を盲目的に信頼するのは危険です。

「LLM ジャッジを使うことが悪いのではありません。検証者自身を検証せずに使うのが問題なのです」

多くの場合、チームは LLM に「1 から 5 の尺度で評価して」と指示し、得られた数値に基づいてビジネス判断を下そうとしますが、このアプローチには重大な欠陥があります。

解決策：機械学習モデルと同様に扱う

データサイエンティストの視点では、LLM 判定器は「不完全な分類器」です。したがって、過去の機械学習モデル開発と同じ厳密なプロセスで扱う必要があります。

• データの分割: ラベル付きトレースの例を収集し、訓練用（Training）、検証用（Validation）、テスト用（Test）セットに明確に分けます。
• 過学習の防止: プロンプトやモデルが訓練・検証セットではうまく機能していても、テストセットで過学習していないかを確認します。
• 適切な指標の選択: LLM 判定器は不均衡な分類タスク（失敗ケースがごく一部）になりがちです。そのため、単純な精度（Accuracy）ではなく、適合率（Precision）、再現率（Recall）、偽陽性・偽陰性に注目する指標を使用する必要があります。

実験設計の改善：合成データの質と多様性をどう担保するか

評価プロセスにおけるもう一つの大きな落とし穴は、実験設計の不備です。特に「合成データ」の生成において、LLM に任せてランダムに生成させるだけのチームが多く見られます。その結果、トレースが画一的になり、実際のユーザー行動を反映しないテスト環境ができてしまいます。

解決策：体系的なクロスプロダクト生成

合成データの品質と多様性を確保するには、LLM を活用する前に「ユーザーがシステムに持ち込むデータの変数」を仮説する必要があります。

1. 変数の特定: アプリケーションに入り込み、ユーザー間で変化する少なくとも 3 つの次元（例：ペルソナ、経験レベル、利用目的）を特定します。
2. 組み合わせ生成: 各次元に対して LLM で異なる値を生成し、これらすべての組み合わせ（クロスプロダクト）を作成して合成データを生成します。
3. 品質確認: 生成されたデータが十分に多様性を持っているかを再確認します。

また、評価指標自体も「1 から 5」や「1 から 100」といった連続値ではなく、「合格か不合格」といった二値分類の問題に落とし込むことで、解釈のしやすさと実行可能性を高めるべきです。LLM 判定器のプロンプトは一度で完璧には書けないため、自ら大量のデータをラベル付けして整合性を測定する「キャリブレーション」プロセスが不可欠です。

データを見ることの重要性：自動化と他人事への戒め

最後に、最も重要なマインドセットとして「データを見ること」が挙げられます。AI エンジニアや開発者にラベル付けを丸投げしたり、すべてを Claude などの AI に任せたりする傾向は避けるべきです。

「Claude はあなたの心の声を読み取ることはできません。製品特有のニュアンスや、想定していない問題を知ることはできないのです」

「基準ドリフト（Criteria Drift）」という現象があり、データを見るまで何を求めているか分からないケースが多々あります。事前にルブリックを指定するだけでは不十分で、実際にデータを探索し、専門知識を持つ人間がラベルを確認・検証する必要があります。

まとめ：科学的アプローチの再導入が信頼性を生む

AI エンジニアリングにおける評価（Evals）は、単なるツールの利用を超えたデータサイエンスの領域です。データの探索（EDA）、アプリケーション固有のメトリクス設計、厳密なモデル検証、そして継続的な監視——これらデータサイエンティストのスキルセットを再導入することで、AI エージェントや生成 AI システムの信頼性を高め、実務での失敗を防ぐことができます。

「勘」に頼る時代は終わりました。データを直視し、科学的なプロセスで検証する姿勢こそが、ビジネス価値のある堅牢な AI システムを構築するための唯一の道です。