Factory が LangSmith を活用してフィードバックループを自動化し、反復速度を 2 倍に向上させた事例

今日の急速に進化するソフトウェア開発において、効率化されたソフトウェア開発ライフサイクル（SDLC）の機能は不可欠です。Factory は SDLC 自動化のための安全な AI プラットフォームを構築しています。Factory の Droids フリートは SDLC の異なる段階を自動化し、大規模組織のエンジニアリング速度を向上させています。また、彼らの [Code Droid](https://www.factory.ai/news/code-droid-technical-report?ref=blog.langchain.com) は複雑なソフトウェア開発タスクにおいて最先端のパフォーマンスを達成しています。自己ホスト型の [LangSmith](http://www.langchain.com/langsmith?ref=blog.langchain.com) を活用することで、Factory はエンタープライズレベルのセキュリティとプライバシーを維持しつつ、自律型 LLM システムに対する複雑な観測（[observability](https://www.langchain.com/resources/ai-observability)）要件を満たしています。 ## 安全で信頼性の高い AI オペレーションのための LangSmith の活用 自己ホスト型の LangSmith は、データプライバシーとセキュリティを確保しながら複雑な LLM ワークフローを管理するために必要な観測（[observability](https://www.langchain.com/resources/ai-observability)）インフラストラクチャを提供します。Factory は、厳格なデータ制御により従来の LLM インフラストラクチャの多くが正常に稼働できない環境にも LangSmith を展開することができます。 Factory が直面した主な課題の一つは、顧客環境における堅牢な観測可能性の確保でした。LLM パイプライン全体にわたるデータフローの追跡や文脈認識の問題のデバッグを行うための従来の方法は非常に煩雑でした。さらに、Factory の独自 LLM ツールにより、ほとんどの LLM 観測ツールのセットアップが困難になっていました。LangSmith は、ファーストパーティ API を介したカスタムトレーシングを備えた完全なソリューションを提供しました。 Factory は LangSmith を統合し、AWS CloudWatch ログへトレースをエクスポートできるようにしました。これにより、チームは LLM パイプラインの各段階におけるデータフローを正確に追跡できるようになりました。LangSmith のイベントやステップと CloudWatch ログをリンクさせることで、Factory のエンジニアたちはエージェントステージにおける自身の位置を特定することが可能になりました。この統合により、LLM 内のデータフローについてステップから次のステップへ至るまで単一の真実源を維持でき、デバッグと最適化にとって極めて重要な役割を果たしています。 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbafc7a83bd2fbf5700d50_AD_4nXeE4KjVcMsmiygiDPyzAkguSgnsrwSxQYVj44ldEksgCPNLNXBnafVZCIA6uarpqR3mme9NOmHaWe0SPKlM3AckUANqH-8g7uksPaWNU_zt4Dx0LE2i8MiA2tEcxvums1NSnT56_f8PIzE9uDokW06ztQnk.png) LangSmith の開発レビュー用メイン UI。もう一つの課題は、生成された回答における文脈認識の問題のデバッグでした。Factory は LangSmith を使用してフィードバックを各 LLM（大規模言語モデル）呼び出しに直接リンクし、潜在的な問題に関する即座の洞察を提供しました。この統合により、チームは独自ロギングシステムなしでハルシネーションなどの問題を迅速に特定し解決することができました。すべての LLM 呼び出しの横にフィードバックが利用可能になったことで、Factory は AI の出力が実際の顧客入力に基づいて文脈的に正確かつ関連性があることを確保できるようになりました。 LangSmith を用いた製品フィードバックループの完結 観測可能性に加え、Factory は LangSmith を使用して製品フィードバックループを最適化し、プロンプトの最適化とフィードバック API の活用に注力しました。従来の手動によるプロンプト最適化は時間がかかり、しばしば不正確でした。LangSmith のフィードバック API がプロセスを簡素化し、Factory がフィードバックを収集・分析して、リアルタイムデータに基づいてプロンプトを改善することを可能にしました。 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbafc7a83bd2fbf5700d4c_AD_4nXeaZ7wx4MoP0lLjYHQxrMlC7ASQwML_ObX1gVA2oJj5O6C2E-IdwJPVQbc0trRTmrZtKshbc3Zch9XXOj10JBAbcRjK30u-9vMACje_pxsXvMyeDjOUu79T0jyqdLtPN_F20r4YbOg5E8TCeXySvd1vEuZo.png) *Factory のフィードバックループは、Droid がコメントを投稿し、肯定的・否定的なフィードバックを収集することから始まります。LangSmith がデータを分析した後、Factory のエンジニアたちはカスタムの LangChain ツールを使用してプロンプトを最適化し、LLM に再プロンプトを行い、精度を向上させてエラーを削減します。* Factory はフィードバック API を使用して、ワークフローのさまざまな段階にフィードバックを追加しました。その後、フィードバックはデータセットへエクスポートされ、パターンと改善すべき領域について分析されました。 例のベンチマークと最適化プロセスの自動化により、Factory は精度に対する制御力を高め、AI モデル全体の性能を向上させました。例えば、コードに関するコメントで良いフィードバックまたは悪いフィードバックを受けた例を用いて、LLM にプロンプトを確認させ、なぜそのプロンプトが悪い例（そして良い例ではない）の原因となったのかという主張を行わせました。このようにフィードバックの収集と処理を合理化したことで、プロンプト最適化が改善されるだけでなく、フィードバック分析にかかる精神的負荷やインフラ要件も削減されました。 フィードバックの収集と処理を自動化できる能力は、人間のフィードバックが必要なパイプラインステップにおいて特に価値がありました。LangSmith を用いることで、Factory はフィードバック収集の最終段階に集中でき、Droid のパフォーマンスにおける最も重要な側面が継続的に洗練され最適化されることを確保できました。 このアプローチにより、ワークフロー全体において精度と効率に大きな改善が見られました。以前のマニュアルによるデータ収集や人間主導のプロンプト反復と比較して、Factory は反復速度を 2 倍に引き上げることができました。また、Factory の報告によると、顧客の平均的なオープンからマージまでの時間が約 20% 短縮され、Droids によって影響を受けたコードにおける最初の 90 日間のコード変更量（コードチェンジ）が 3 分の 1 に減少しました。 ## 将来展望：SDLC における AI の自律性の拡大 Factory が継続的に革新を遂げる中で、その焦点は SDLC 全体にわたる AI 機能の強化にあります。LangChain と連携し、LangSmith を活用することはこの旅において決定的な役割を果たしており、ソフトウェア開発において前例のないレベルの効率と品質を実現するために必要なツールとインフラを提供しています。 Factory の [Droids](https://www.factory.ai/news/code-droid-technical-report?ref=blog.langchain.com) はすでにエンジニアリング運用において目覚ましい改善をもたらしました。クライアントからは、サイクルタイムが最大 20% 短縮され、さまざまな組織で開発時間として合計 55 万時間以上が節約されたという報告があります。これらの大幅な時間の節約により、エンジニアリングチームは革新的で付加価値の高いタスクに集中できるようになり、全体的な生産性が向上し、運用コストが削減されています。 Factory の未来は明るく、ソフトウェア開発における AI の境界を押し広げ続ける中で、その可能性はさらに広がっています。最近の AI ドロイドの一般公開と、シーコイア・キャピタルが主導するシリーズ A ラウンドでの 1500 万ドル調達により、Factory は著しい成長と革新に向けて準備を整えています。LangChain との継続的な協力関係はこの戦略の中核をなすものであり、Factory が AI ドライブ型のソフトウェア開発の最前線に留まることを保証しています。 ***「LangChain との協力は、エンタープライズ向け LLM ベースシステムの成功裏な導入において決定的な役割を果たしました。LangChain チームから提供される観測性（observability）とオーケストレーション層（orchestration-layer）のツールのおかげで、意思決定や運用能力に対する自信が大幅に高まりました。」 – Factory CTO エノ・レイエス*** **Factory について** Factory は、ソフトウェア開発ライフサイクルの自動化に専念するエンタープライズ AI 企業です。高度な自律型ドロイドを統合することで、Factory は企業がより迅速で信頼性が高く、コスト効果の高いソフトウェアデリバリーを実現できるよう支援します。 さらに詳しい洞察や最新情報については、[Factory のウェブサイト](https://factory.ai/?ref=blog.langchain.com)をご覧ください。 **LangChain について** LangChain, Inc. は、開発者が文脈を認識する推論アプリケーションを構築できるよう支援するために 2023 年初頭に設立されました。同社の人気のあるオープンソースフレームワークは、LLM（大規模言語モデル）を用いて本番環境対応のアプリケーションを作成するための構成要素を提供します。LangSmith はこれに補完するものとして、LangChain および LLM を活用したアプリケーションの構築と監視のための完全なエンドツーエンドの開発ワークフローを可能にするオールインワンの SaaS プラットフォームです。 詳細については、[LangChain のウェブサイト](https://langchain.com/?ref=blog.langchain.com)をご覧ください。

Factory が LangSmith を活用してフィードバックループを自動化し、反復速度を 2 倍に向上させた事例

背景や根拠まで確認しますか？

調べる

選ぶ

サイト