Replit エージェントの複雑なワークフローにより LangSmith の限界を押し広げる
LangChain と Replit の連携により、大規模なエージェントワークフローの可視化とデバッグを可能にする LangSmith の新機能が導入され、LLM アプリケーション開発のパラダイムが強化された。
キーポイント
大規模トレースの性能向上とスケーラビリティ
数百ステップに及ぶ複雑なエージェント実行フローを効率的に処理・表示できるよう、LangSmith のトレース機能のインフラが大幅に強化された。
トレース内での高度な検索とフィルタリング
膨大なログデータの中から特定の LLM 呼び出しやステップを迅速に見つけるための、詳細な検索・フィルタリング機能が実装された。
ヒューマンインザループワークフローの支援
スレッドビュー機能の導入により、開発者がエージェントの意思決定プロセスを人間が介入して制御・修正できるワークフローが可能になった。
重要な引用
Replit Agent has a complex workflow which enables a highly custom agentic workflow with a high-degree of control and parallel execution.
Tracing is important for agents due to their complex nature. It captures multiple LLM calls as well as other steps (retrieval, running code, etc).
Replit's traces were very large - involving hundreds of steps.
影響分析・編集コメントを表示
影響分析
このニュースは、複雑化するエージェントアプリケーションの開発現場における「ブラックボックス化」の解消に大きく貢献します。特に大規模な実行フローを可視化し、人間が介入できる機能を標準機能として提供することで、実社会で運用される高度な AI システムの信頼性と開発効率を劇的に向上させる可能性があります。
編集コメント
単なるツール機能の追加にとどまらず、複雑化する AI エージェントの実用化に向けたインフラ基盤の成熟を示す重要な一歩です。開発者が大規模なエージェントを信頼して運用するための鍵となる観測性機能が強化されました。
Replit は、3,000 万人以上の開発者向けにコードの作成、実行、共同作業を簡素化するプラットフォームにより、AI イノベーションの最前線に立っています。彼らは最近、Replit Agent をリリースしました。このツールで人々が簡単に作成できる素晴らしいアプリケーションの数々により、すぐに話題となりました。
裏側では、Replit Agent は高度なカスタマイズが可能なエージェントワークフローを実現する複雑なワークフローを備えており、高い制御性と並列実行が可能です。LangSmith を活用することで、Replit は厄介な問題のデバッグのために、自社のエージェント間の相互作用に対する深い可視性を獲得しました。
Replit Agent が必要とする複雑さのレベルは、LangSmith の限界も押し広げることになりました。LangChain チームと Replit チームは緊密に協力し、彼らの LLM 観測性 のニーズを満たす機能を LangSmith に追加しました。具体的には、主に以下の 3 つの領域で革新を行いました。
- 大規模なトレースにおけるパフォーマンスとスケーラビリティの向上
- トレース内での検索およびフィルタリング機能の追加
- ヒューマン・イン・ザ・ループワークフローを可能にするスレッドビュー
大規模なトレースにおけるパフォーマンスとスケーラビリティの向上
他のほとんどの LLMOps ソリューションは、LLM プロバイダーへの個々の API リクエストを監視するものであり、単一の LLM コールの限定的な視点しか提供できません。一方、LangSmith は初日から、より包括的な文脈を提供するために、LLM アプリケーションの全実行フローを追跡することに注力してきました。
エージェントは複雑な性質を持つため、トレーシング（追跡）が重要です。これにより、複数の LLM 呼び出しやその他のステップ（検索、コード実行など）を捉えることができます。これにより、各ステップの入力と出力を含む、何が起こっているのかの詳細な可視性が得られ、エージェントの意思決定を理解することができます。
Replit Agent は、高度なトレーシングニーズに対する適切な例でした。彼らのエージェントツールは単にコードのレビューや作成を行うだけでなく、計画立案、開発環境の構築、依存関係のインストール、ユーザー向けのアプリケーションデプロイなど、より広範な機能も実行します。
その結果、Replit のトレースは非常に大規模になり、数百ものステップを含みました。これはデータの取り込みと、視覚的に意味のある方法で表示することにおいて大きな課題となりました。
これに対処するため、LangChain チームは大量のトレースデータを効率的に処理・保存するためにデータ取り込み機能を改善しました。また、長時間実行されるエージェントのトレースをシームレスに表示できるよう、LangSmith のフロントエンドレンダリングも改善されました。
Search and filter within traces to pinpoint issues
LangSmith has always supported search between traces, which allows users to find a single trace among hundreds of thousands based on events or full text search. But as Replit Agent's traces got longer and longer, the Replit team needed to search within traces for specific events (oftentimes issues reported by alpha testers). This required augmenting existing search capabilities.
In response, a new search pattern – searching within traces – was added to LangSmith. Instead of sifting and scrolling call-by-call within a large trace, users could now filter directly on a criteria they cared about (e.g. keywords in the inputs or outputs of a run). This greatly reduced Replit's time needed to debug agent steps within a trace.
Thread view to enable human-in-the-loop workflows
A key differentiator of Replit Agent was its emphasis on human-in-the-loop workflows. Replit Agent intends to be a tool where AI agents can collaborate effectively with human developers, who can come in and edit and correct agent trajectories as needed.
With separate agents to perform roles like managing, editing, and verifying generated code, Replit's agents interacted with users continuously - often over long periods with multiple turns of conversation. However, monitoring these conversational flows was often difficult, as each user session would generate disjoint traces.
これを解決するために、LangSmith のスレッドビュー機能は、関連する複数のスレッド（つまり 1 つの会話から生じたもの）からのトレースを統合しました。これにより、多段階の会話全体におけるエージェントとユーザーの相互作用に対する論理的な視点が得られ、Replit が 1) ユーザーが立ち止まってしまうボトルネックを見つけやすくし、2) 人間の介入が有益となる領域を特定しやすくなりました。
結論
Replit は、LangSmith の強力な観測機能を活用して、AI エージェントの監視における新たな境界線を押し広げています。長く重いトレースを読み込むための労力を削減したことで、Replit チームは複雑なエージェントの構築とスケーリングのプロセスを大幅に加速させました。デバッグの高速化、トレース可視性の向上、並列タスクのより適切な処理により、Replit は AI ドライブ型開発における新たな基準を確立しています。
原文を表示
Replit is at the forefront of AI innovation with its platform that simplifies writing, running, and collaborating on code for over 30+ million developers. They recently released Replit Agent, which immediately went viral due to the incredible applications people could easily create with this tool.
Behind the scenes, Replit Agent has a complex workflow which enables a highly custom agentic workflow with a high-degree of control and parallel execution. By using LangSmith, Replit gained deep visibility into their agent interactions to debug tricky issues.
The level of complexity required for Replit Agent also pushed the boundaries of LangSmith. The LangChain and Replit teams worked closely together to add functionality to LangSmith that would satisfy their LLM observability needs. Specifically, there were three main areas that we innovated on:
- Improved performance and scale on large traces
- Ability to search and filter within traces
- Thread view to enable human-in-the loop workflows
Improved performance and scale on large traces
Most other LLMOps solutions monitor individual API requests to LLM providers, offering a limited view of single LLM calls. In contrast, LangSmith from day one has focused on tracing the entire execution flow of an LLM application to provide a more holistic context.
Tracing is important for agents due to their complex nature. It captures multiple LLM calls as well as other steps (retrieval, running code, etc). This gives you granular visibility into what’s happening, including at the inputs and outputs of each step, in order to understand the agent’s decision-making.
Replit Agent was a ripe example for advanced tracing needs. Their agentic tool goes beyond simply reviewing and writing code, but also performs a wider range of functions – including planning, creating dev environments, installing dependencies, and deploying applications for users.
As a result, Replit’s traces were very large - involving hundreds of steps. This posed significant challenges for ingesting data and displaying it in a visually meaningful way.
To address this, the LangChain team improved their ingestion to efficiently process and store large volumes of trace data. They also improved LangSmith’s frontend rendering to display long-running agent traces seamlessly.
Search and filter within traces to pinpoint issues
LangSmith has always supported search between traces, which allows users to find a single trace among hundreds of thousands based on events or full text search. But as Replit Agent’s traces got longer and longer, the Replit team needed to search within traces for specific events (oftentimes issues reported by alpha testers). This required augmenting existing search capabilities.
In response, a new search pattern – searching within traces – was added to LangSmith. Instead of sifting and scrolling call-by-call within a large trace, users could now filter directly on a criteria they cared about (e.g. keywords in the inputs or outputs of a run). This greatly reduced Replit’s time needed to debug agent steps within a trace.
Thread view to enable human-in-the-loop workflows
A key differentiator of Replit Agent was its emphasis on human-in-the-loop workflows. Replit Agent intends to be a tool where AI agents can collaborate effectively with human developers, who can come in and edit and correct agent trajectories as needed.
With separate agents to perform roles like managing, editing, and verifying generated code, Replit’s agents interacted with users continuously - often over long periods with multiple turns of conversation. However, monitoring these conversational flows was often difficult, as each user session would generate disjoint traces.
To solve this, LangSmith’s thread view helped collate traces from multiple threads together that were related (i.e. from one conversation). This provided a logical view of all agent-user interactions across a multi-turn conversation, helping Replit better 1) find bottlenecks where users got stuck and 2) pinpoint areas where human intervention could be beneficial.
Conclusion
Replit is pushing the frontier of AI agent monitoring using LangSmith’s powerful observability features. By reducing the effort of loading long, heavy traces, the Replit team has greatly sped up the process of building and scaling complex agents. With faster debugging, improved trace visibility, and better handling of parallel tasks, Replit is setting the standard for AI-driven development.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み