Replit エージェントの複雑なワークフローにより LangSmith の限界を押し広げる

Replit は、3,000 万人以上の開発者向けにコードの作成、実行、共同作業を簡素化するプラットフォームにより、AI イノベーションの最前線に立っています。彼らは最近、Replit Agent をリリースしました。このツールで人々が簡単に作成できる素晴らしいアプリケーションの数々により、すぐに話題となりました。

裏側では、Replit Agent は高度なカスタマイズが可能なエージェントワークフローを実現する複雑なワークフローを備えており、高い制御性と並列実行が可能です。LangSmith を活用することで、Replit は厄介な問題のデバッグのために、自社のエージェント間の相互作用に対する深い可視性を獲得しました。

Replit Agent が必要とする複雑さのレベルは、LangSmith の限界も押し広げることになりました。LangChain チームと Replit チームは緊密に協力し、彼らの LLM 観測性 のニーズを満たす機能を LangSmith に追加しました。具体的には、主に以下の 3 つの領域で革新を行いました。

• 大規模なトレースにおけるパフォーマンスとスケーラビリティの向上
• トレース内での検索およびフィルタリング機能の追加
• ヒューマン・イン・ザ・ループワークフローを可能にするスレッドビュー

大規模なトレースにおけるパフォーマンスとスケーラビリティの向上

他のほとんどの LLMOps ソリューションは、LLM プロバイダーへの個々の API リクエストを監視するものであり、単一の LLM コールの限定的な視点しか提供できません。一方、LangSmith は初日から、より包括的な文脈を提供するために、LLM アプリケーションの全実行フローを追跡することに注力してきました。

エージェントは複雑な性質を持つため、トレーシング（追跡）が重要です。これにより、複数の LLM 呼び出しやその他のステップ（検索、コード実行など）を捉えることができます。これにより、各ステップの入力と出力を含む、何が起こっているのかの詳細な可視性が得られ、エージェントの意思決定を理解することができます。

Replit Agent は、高度なトレーシングニーズに対する適切な例でした。彼らのエージェントツールは単にコードのレビューや作成を行うだけでなく、計画立案、開発環境の構築、依存関係のインストール、ユーザー向けのアプリケーションデプロイなど、より広範な機能も実行します。

その結果、Replit のトレースは非常に大規模になり、数百ものステップを含みました。これはデータの取り込みと、視覚的に意味のある方法で表示することにおいて大きな課題となりました。

これに対処するため、LangChain チームは大量のトレースデータを効率的に処理・保存するためにデータ取り込み機能を改善しました。また、長時間実行されるエージェントのトレースをシームレスに表示できるよう、LangSmith のフロントエンドレンダリングも改善されました。

Search and filter within traces to pinpoint issues

LangSmith has always supported search between traces, which allows users to find a single trace among hundreds of thousands based on events or full text search. But as Replit Agent's traces got longer and longer, the Replit team needed to search within traces for specific events (oftentimes issues reported by alpha testers). This required augmenting existing search capabilities.

In response, a new search pattern – searching within traces – was added to LangSmith. Instead of sifting and scrolling call-by-call within a large trace, users could now filter directly on a criteria they cared about (e.g. keywords in the inputs or outputs of a run). This greatly reduced Replit's time needed to debug agent steps within a trace.

Thread view to enable human-in-the-loop workflows

A key differentiator of Replit Agent was its emphasis on human-in-the-loop workflows. Replit Agent intends to be a tool where AI agents can collaborate effectively with human developers, who can come in and edit and correct agent trajectories as needed.

With separate agents to perform roles like managing, editing, and verifying generated code, Replit's agents interacted with users continuously - often over long periods with multiple turns of conversation. However, monitoring these conversational flows was often difficult, as each user session would generate disjoint traces.

これを解決するために、LangSmith のスレッドビュー機能は、関連する複数のスレッド（つまり 1 つの会話から生じたもの）からのトレースを統合しました。これにより、多段階の会話全体におけるエージェントとユーザーの相互作用に対する論理的な視点が得られ、Replit が 1) ユーザーが立ち止まってしまうボトルネックを見つけやすくし、2) 人間の介入が有益となる領域を特定しやすくなりました。

結論

Replit は、LangSmith の強力な観測機能を活用して、AI エージェントの監視における新たな境界線を押し広げています。長く重いトレースを読み込むための労力を削減したことで、Replit チームは複雑なエージェントの構築とスケーリングのプロセスを大幅に加速させました。デバッグの高速化、トレース可視性の向上、並列タスクのより適切な処理により、Replit は AI ドライブ型開発における新たな基準を確立しています。