Morningstar、LangSmithで生産性エージェントの視界を確保

Morningstar が語る「盲目飛行」からの脱却：LangSmith が変えた AI エージェント開発の現実

金融サービス大手モーニングスター（Morningstar）の AI アクセラレータチームは、AI エージェントの実装においてかつて「盲目飛行」の状態にありました。しかし、観測・追跡プラットフォーム「LangSmith」を導入したことで、主観的な経験則に頼っていたデバッグが客観的なデータ分析へと転換し、開発スピードと協業効率劇的に向上しています。

複雑なクエリに依存する「盲目飛行」の壁

モーニングスターは投資研究やデータ提供で知られる企業ですが、同社の AI アクセラレータチームは、社外向け AI プロダクトの拡大に注力しています。具体的には、ETF やインデックスファンドの保有銘柄を照会したり、市場動向に関するアナリストリサーチを取得したりする「モーニングスター MCP サーバー」や、製品に埋め込まれた AI アシスタントの開発を進めています。

しかし、開発初期段階では可視化が極めて困難でした。チームは複雑な Splunk クエリに依存せざるを得ず、エージェント内部で何が起きているのかを把握する手段は限定的でした。「盲目飛行（flying blind）」状態にあったと振り返る通り、必要な情報が得られないまま推測で進むしかありませんでした。

「必要な情報はプロンプトが何だったか、どのモデルを呼び出したか、どのツールが選択されたか、そしてその出力結果です。これらが不明な状態で開発を進めるのは不可能でした」

この状況では、デバッグは「誰かが『以前悪いトレースを見たことがある』と言う」といった主観的な経験則（anecdotal）に頼るしかなく、問題解決のスピードは著しく低下していました。

LangSmith による包括的追跡で「客観性」を確保

LangSmith の導入により、チームはエージェントの全プロセスを一元可視化できるようになりました。プロンプトの内容、使用されたモデル、選択されたツール、そしてその出力結果まで、すべてのトレース（trace）が一目で確認できる環境が整ったのです。

これにより、開発者間の共通言語である「観測と追跡」のインフラが確立されました。以前は個人の記憶や断片的な情報に頼っていたデバッグが、客観的なデータに基づいた議論へと変化しました。結果として、「どのトレースをどう見つけるか」という解決までの時間（time to resolution）が劇的に短縮されています。

評価基盤の構築負担から解放され、開発期間を短縮

AI エージェントの開発において、その性能を評価するインフラを整備するのは通常、膨大な時間を要します。しかし、LangSmith のオンライン評価機能（online evaluators）を活用したことで、チームは独自に評価基盤を構築する必要がなくなりました。

「LangSmith のオンライン評価機能があれば、わざわざ自分でインフラを構築する必要はありません。これにより、大幅な時間の節約が可能になりました」

この機能により、開発者は評価コードの記述やインフラ管理から解放され、本質的なプロダクト開発に集中できるようになりました。導入から数ヶ月という短期間で、すべての主要指標が劇的に改善されたという成果が出ています。

プロンプトプレイグラウンドで個人作業をチーム協業へ

もう一つの大きな変化は、チームの働き方そのものです。LangSmith のプロンプトプレイグラウンド（prompt playground）を活用することで、開発者はプロンプトを簡単に共有・検証できるようになりました。

以前は「個人の作業」に留まっていたプロンプト設計が、今や「チーム全体での共同作業」へと進化しました。メンバー間でプロンプトの良し悪しを議論し、ベストプラクティスを迅速に共有できる環境が整ったことで、ナレッジの属人化を防ぎ、開発品質の底上げを実現しています。

まとめ

モーニングスターの事例は、金融サービス分野に限らず、エンタープライズレベルで AI エージェントを実装する際に「可視化」がいかに重要かを浮き彫りにしました。独自に観測基盤を構築する負担を軽減し、チーム全体での協業を促進した LangSmith の導入が、開発スピードと品質の向上に直結したのです。

「LangSmith を使った今なら、もう元には戻れません」

この言葉は、適切なツールによる可視化がもたらす開発環境の劇的な変化を如実に物語っています。