Factory が LangSmith を活用してフィードバックループを自動化し、反復速度を 2 倍に向上させた事例
LangChain Blog は、企業 Factory が LangSmith を活用してフィードバックループを自動化し、開発の反復速度を倍増させた具体的な成功事例を紹介している。
キーポイント
フィードバックループの自動化実現
Factory は LangSmith ツールを導入することで、手動に依存していた評価プロセスを自動化し、開発サイクルを劇的に短縮した。
反復速度の 2 倍向上
自動化されたフィードバックループにより、モデルの改善とデプロイまでの時間が半減し、開発スピードが 2 倍に加速された。
実践的な LLM 運用事例
LangSmith の具体的な機能活用方法を通じて、大規模言語モデルの実装における品質管理と効率化のベストプラクティスが示されている。
影響分析・編集コメントを表示
影響分析
この事例は、LLM アプリケーション開発における「評価と改善」のボトルネックを解消する実用的な解決策を示しており、業界全体での開発効率化への波及効果が期待される。特に、ツールを用いた自動化プロセスが具体的な数値目標達成に直結することを示すことで、他社による LangSmith 等のツールの導入意欲を高める契機となるだろう。
編集コメント
LLM 開発現場の課題解決事例として非常に参考になる記事です。ツール導入による具体的な数値効果は、技術選定の判断材料として有用です。
今日の急速に進化するソフトウェア開発において、効率化されたソフトウェア開発ライフサイクル（SDLC）の機能は不可欠です。Factory は SDLC 自動化のための安全な AI プラットフォームを構築しています。Factory の Droids フリートは SDLC の異なる段階を自動化し、大規模組織のエンジニアリング速度を向上させています。また、彼らの Code Droid は複雑なソフトウェア開発タスクにおいて最先端のパフォーマンスを達成しています。自己ホスト型の LangSmith を活用することで、Factory はエンタープライズレベルのセキュリティとプライバシーを維持しつつ、自律型 LLM システムに対する複雑な観測（observability）要件を満たしています。
安全で信頼性の高い AI オペレーションのための LangSmith の活用
自己ホスト型の LangSmith は、データプライバシーとセキュリティを確保しながら複雑な LLM ワークフローを管理するために必要な観測（observability）インフラストラクチャを提供します。Factory は、厳格なデータ制御により従来の LLM インフラストラクチャの多くが正常に稼働できない環境にも LangSmith を展開することができます。
Factory が直面した主な課題の一つは、顧客環境における堅牢な観測可能性の確保でした。LLM パイプライン全体にわたるデータフローの追跡や文脈認識の問題のデバッグを行うための従来の方法は非常に煩雑でした。さらに、Factory の独自 LLM ツールにより、ほとんどの LLM 観測ツールのセットアップが困難になっていました。LangSmith は、ファーストパーティ API を介したカスタムトレーシングを備えた完全なソリューションを提供しました。
Factory は LangSmith を統合し、AWS CloudWatch ログへトレースをエクスポートできるようにしました。これにより、チームは LLM パイプラインの各段階におけるデータフローを正確に追跡できるようになりました。LangSmith のイベントやステップと CloudWatch ログをリンクさせることで、Factory のエンジニアたちはエージェントステージにおける自身の位置を特定することが可能になりました。この統合により、LLM 内のデータフローについてステップから次のステップへ至るまで単一の真実源を維持でき、デバッグと最適化にとって極めて重要な役割を果たしています。
LangSmith の開発レビュー用メイン UI。もう一つの課題は、生成された回答における文脈認識の問題のデバッグでした。Factory は LangSmith を使用してフィードバックを各 LLM（大規模言語モデル）呼び出しに直接リンクし、潜在的な問題に関する即座の洞察を提供しました。この統合により、チームは独自ロギングシステムなしでハルシネーションなどの問題を迅速に特定し解決することができました。すべての LLM 呼び出しの横にフィードバックが利用可能になったことで、Factory は AI の出力が実際の顧客入力に基づいて文脈的に正確かつ関連性があることを確保できるようになりました。
LangSmith を用いた製品フィードバックループの完結
観測可能性に加え、Factory は LangSmith を使用して製品フィードバックループを最適化し、プロンプトの最適化とフィードバック API の活用に注力しました。従来の手動によるプロンプト最適化は時間がかかり、しばしば不正確でした。LangSmith のフィードバック API がプロセスを簡素化し、Factory がフィードバックを収集・分析して、リアルタイムデータに基づいてプロンプトを改善することを可能にしました。
*Factory のフィードバックループは、Droid がコメントを投稿し、肯定的・否定的なフィードバックを収集することから始まります。LangSmith がデータを分析した後、Factory のエンジニアたちはカスタムの LangChain ツールを使用してプロンプトを最適化し、LLM に再プロンプトを行い、精度を向上させてエラーを削減します。* Factory はフィードバック API を使用して、ワークフローのさまざまな段階にフィードバックを追加しました。その後、フィードバックはデータセットへエクスポートされ、パターンと改善すべき領域について分析されました。
例のベンチマークと最適化プロセスの自動化により、Factory は精度に対する制御力を高め、AI モデル全体の性能を向上させました。例えば、コードに関するコメントで良いフィードバックまたは悪いフィードバックを受けた例を用いて、LLM にプロンプトを確認させ、なぜそのプロンプトが悪い例（そして良い例ではない）の原因となったのかという主張を行わせました。このようにフィードバックの収集と処理を合理化したことで、プロンプト最適化が改善されるだけでなく、フィードバック分析にかかる精神的負荷やインフラ要件も削減されました。
フィードバックの収集と処理を自動化できる能力は、人間のフィードバックが必要なパイプラインステップにおいて特に価値がありました。LangSmith を用いることで、Factory はフィードバック収集の最終段階に集中でき、Droid のパフォーマンスにおける最も重要な側面が継続的に洗練され最適化されることを確保できました。
このアプローチにより、ワークフロー全体において精度と効率に大きな改善が見られました。以前のマニュアルによるデータ収集や人間主導のプロンプト反復と比較して、Factory は反復速度を 2 倍に引き上げることができました。また、Factory の報告によると、顧客の平均的なオープンからマージまでの時間が約 20% 短縮され、Droids によって影響を受けたコードにおける最初の 90 日間のコード変更量（コードチェンジ）が 3 分の 1 に減少しました。
将来展望：SDLC における AI の自律性の拡大
Factory が継続的に革新を遂げる中で、その焦点は SDLC 全体にわたる AI 機能の強化にあります。LangChain と連携し、LangSmith を活用することはこの旅において決定的な役割を果たしており、ソフトウェア開発において前例のないレベルの効率と品質を実現するために必要なツールとインフラを提供しています。
Factory の Droids はすでにエンジニアリング運用において目覚ましい改善をもたらしました。クライアントからは、サイクルタイムが最大 20% 短縮され、さまざまな組織で開発時間として合計 55 万時間以上が節約されたという報告があります。これらの大幅な時間の節約により、エンジニアリングチームは革新的で付加価値の高いタスクに集中できるようになり、全体的な生産性が向上し、運用コストが削減されています。
Factory の未来は明るく、ソフトウェア開発における AI の境界を押し広げ続ける中で、その可能性はさらに広がっています。最近の AI ドロイドの一般公開と、シーコイア・キャピタルが主導するシリーズ A ラウンドでの 1500 万ドル調達により、Factory は著しい成長と革新に向けて準備を整えています。LangChain との継続的な協力関係はこの戦略の中核をなすものであり、Factory が AI ドライブ型のソフトウェア開発の最前線に留まることを保証しています。
*「LangChain との協力は、エンタープライズ向け LLM ベースシステムの成功裏な導入において決定的な役割を果たしました。LangChain チームから提供される観測性（observability）とオーケストレーション層（orchestration-layer）のツールのおかげで、意思決定や運用能力に対する自信が大幅に高まりました。」 – Factory CTO エノ・レイエス*
Factory について
Factory は、ソフトウェア開発ライフサイクルの自動化に専念するエンタープライズ AI 企業です。高度な自律型ドロイドを統合することで、Factory は企業がより迅速で信頼性が高く、コスト効果の高いソフトウェアデリバリーを実現できるよう支援します。
さらに詳しい洞察や最新情報については、Factory のウェブサイトをご覧ください。
LangChain について
LangChain, Inc. は、開発者が文脈を認識する推論アプリケーションを構築できるよう支援するために 2023 年初頭に設立されました。同社の人気のあるオープンソースフレームワークは、LLM（大規模言語モデル）を用いて本番環境対応のアプリケーションを作成するための構成要素を提供します。LangSmith はこれに補完するものとして、LangChain および LLM を活用したアプリケーションの構築と監視のための完全なエンドツーエンドの開発ワークフローを可能にするオールインワンの SaaS プラットフォームです。
詳細については、LangChain のウェブサイトをご覧ください。
原文を表示
In today’s fast-paced software development, streamlined Software Development Lifecycle (SDLC) capabilities are essential. Factory is building the secure AI platform for SDLC automation. Factory’s fleet of Droids automate different stages of the SDLC, boosting engineering velocity for large organizations — and their Code Droid has achieved state-of-the-art performance in complex software development tasks. By leveraging Self-hosted LangSmith, Factory meets complex observability requirements for autonomous LLM systems while maintaining enterprise-level security and privacy.
Leveraging LangSmith for Secure and Reliable AI Operations
Self-hosted LangSmith provides the necessary observability infrastructure needed to manage complex LLM workflows while ensuring data privacy and security. Factory can deploy LangSmith into environments where tight data controls prevent most LLM infrastructure from operating successfully.
One primary challenge Factory faced was ensuring robust observability in their customers' environments. Traditional methods for tracking data flow across LLM pipelines and debugging context-awareness issues were cumbersome. Additionally, Factory’s custom LLM tooling made most LLM observability tools challenging to set-up. LangSmith offered a complete solution with custom tracing via a first-party API.
Factory integrated LangSmith to export traces to AWS CloudWatch logs, which allowed the team to precisely track data flow through various stages of the LLM pipeline. By linking LangSmith events and steps with CloudWatch logs, Factory’s engineers could pinpoint their position in the agentic stage. This integration helped maintain a single source of truth for data flow in LLM from one step to the next, which is mission-critical for debugging and optimization.
Another challenge was debugging context-awareness issues in generated responses. Factory used LangSmith to link feedback directly to each LLM call, providing immediate insights into potential problems. This integration helped the team quickly identify and resolve issues like hallucinations without a proprietary logging system. With feedback available next to every LLM call, Factory could ensure that the AI’s outputs were contextually accurate and relevant based on real customer input.
Closing the Product Feedback Loop with LangSmith
In addition to observability, Factory used LangSmith to optimize product feedback loops, focusing on prompt optimization and feedback API utilization. Traditional methods of manual prompt optimization were time-consuming and often inaccurate. LangSmith’s Feedback API streamlined the process, enabling Factory to collect and analyze feedback, then refine their prompts based on real-time data.
Factory used the Feedback API to append feedback to various stages of their workflows. The feedback was then exported to datasets, and analyzed for patterns and areas for improvement.
By benchmarking examples and automating the optimization process, Factory increased their control over accuracy and enhanced the overall performance of their AI models. For example, with examples of comments on code with good or bad feedback, they had the LLM look at a prompt and make a claim as to why the prompt may have caused a bad example (and not a good example). This streamlined feedback collecting and processing not only improved prompt optimization but also reduced mental overhead and infrastructure requirements for analyzing feedback.
The ability to automate feedback collection and processing was particularly valuable for pipeline steps that required human feedback. With LangSmith, Factory could focus on the final stages of feedback collection, ensuring that the most critical aspects of their Droid’s performance were continually refined and optimized.
This approach led to significant improvements in accuracy and efficiency across their workflows. Compared to their previous method of manual data collection and human-driven prompt iteration, Factory was able to 2x their iteration speed. Factory also reports their average customer experienced a ~20% reduction in open-to-merge time, and a 3x reduction in code churn on code impacted by Droids in the first 90 days.
Looking Forward: Expanding AI Autonomy in the SDLC
As Factory continues to innovate, their focus remains on enhancing AI capabilities across the entire SDLC. Partnering with LangChain and using LangSmith have been pivotal in this journey, providing the tools and infrastructure needed to achieve unprecedented levels of efficiency and quality in software development.
Factory’s Droids have already led to remarkable improvements in engineering operations. Clients report an average reduction in cycle time by up to 20%, with over 550,000 hours of development time saved across various organizations. These substantial time savings allow engineering teams to focus on innovative, value-added tasks, enhancing overall productivity and reducing operational costs.
The future looks bright for Factory as they continue to push the boundaries of AI in software development. With the recent public launch of their AI Droids and $15 million in Series A funding led by Sequoia Capital, Factory is poised for significant growth and innovation. The ongoing collaboration with LangChain is a cornerstone of this strategy, ensuring that Factory remains at the cutting edge of AI-driven software development.
“Our collaboration with LangChain has been critical to successfully deploying enterprise LLM-based systems. We are significantly more confident in our decision making and operational capabilities thanks to the observability and orchestration-layer tooling that we get from the LangChain team.” – Eno Reyes, CTO of Factory
About Factory
Factory is an enterprise AI company dedicated to automating the software development lifecycle. By integrating advanced autonomous Droids, Factory helps businesses achieve faster, more reliable, and cost-effective software delivery.
For more insights and updates, visitFactory’s website.
About LangChain
LangChain, Inc. was founded in early 2023 to help developers build context-aware reasoning applications. The company’s popular open-source framework gives developers the building blocks to create production-ready applications with LLMs. LangSmith complements this as an all-in-one SaaS platform that enables a full, end-to-end development workflow for building and monitoring LangChain and LLM-powered apps.
For more information, visitLangChain’s website.
関連記事
[AINews] 今日特に大きな出来事はありませんでした
Latent Space は、GLM 5.2 が依然として注目されていると指摘しつつ、AIE WF 2026 の通常チケットが月曜日に完売すると発表しました。同サイト購読者向けに限定割引を提供し、参加者には Warp や Datadog などからのスポンサークレジットも付与されます。
米国がアンソロピックの「Fable 5」発売を禁止、しかし市場は動じず
米国政府は国家安全保障上の懸念から、アマゾンの研究者らがガードレール回避手法を発見したとして、アンソロピックに対し最新モデル「Fable 5」と「Mythos 5」の販売差し止めを命じた。サイバーセキュリティ研究者らはこの措置が危険だとする公開書簡に署名し、同社も他モデルでも同様の抜け道が存在すると指摘している。
社内データ分析エージェントの構築方法について
GitHub は、大規模なデータ組織が直面する自己完結型のデータアクセスと洞察提供の課題に対し、AI を活用した信頼性の高い解決策として、社内でデータ分析エージェントを構築したことを発表した。
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み