Rippling が Deep Agents と LangSmith を活用し、6 ヶ月で本番環境の AI を構築した方法
Rippling は LangChain の Deep Agents と LangSmith を活用し、複雑な多領域データモデルを横断する AI レイヤーを 6 ヶ月で生産環境に実装した。
キーポイント
大規模オントロジーへの対応
HR、IT、給与計算など数千のテーブルと重複する概念を持つ巨大なデータモデルに対し、単純なスキーマ提示ではなく推論による曖昧さ解消を可能にした。
Deep Agents による多エージェント構成
スーパーバイザーエージェントが調整役となり、読み取り、RAG（検索拡張生成）、アクション実行に特化した専門エージェントを協調させるアーキテクチャを採用した。
LangSmith による品質保証と自己修復
トレースの可視化、階層型評価、半自動的自己修復ループを導入し、回帰テストやシステム品質の継続的な向上を実現している。
影響分析・編集コメントを表示
影響分析
この事例は、複雑な企業システムにおいて LLM の推論能力を大規模オントロジーに適用する具体的なアーキテクチャパターンを示しており、単なるプロトタイプ段階を超えた本番運用への道筋を提示している。特に、多エージェントシステムと評価ループの組み合わせが、実務レベルでの AI 導入における課題解決の有効性を証明した点で業界に重要な示唆を与える。
編集コメント
大規模かつ複雑な企業データ環境における AI 導入の成功事例として、アーキテクチャ設計と運用面での具体的な知見が得られる貴重なケーススタディです。
6 ヶ月で Deep Agents と LangSmith を活用し、すべての製品に AI ネイティブを実現した Rippling の取り組み
主要なポイント
- Rippling は、膨大なオントロジー（概念体系）にわたって推論できる AI を必要としていました。そのデータモデルは、人事、IT、給与計算、財務、グローバル運営にまたがる数千のテーブルと重複する概念を有しています。
- Deep Agents が Rippling AI のマルチエージェントアーキテクチャを支えています。スーパーバイザーエージェントが、専門的な読み取りエージェント、RAG（検索拡張生成）、およびアクションエージェントを調整し、質問への回答、文脈の取得、ワークフローの実行を行います。
- LangSmith は、本番環境でのデバッグと評価をサポートします。Rippling はトレース、階層化された評価、半自動の自己修復ループを活用して、回帰を検出し、システム品質を時間とともに向上させています。
Rippling は、オンボーディングや福利厚生からデバイスプロビジョニング、支出管理までを包括的に管理するワークフォース管理プラットフォームです。そのデータモデルは人事、IT、給与計算、財務、グローバル運営にまたがり、数千のテーブルと数十万のフィールドを持ち、ドメイン間で同じ名称を持つ概念も存在します。これらすべてにわたって推論できる AI レイヤーを構築するには、新たなアーキテクチャが必要でした。
*Rippling AI* は現在、世界中で数百万人のユーザーに本番環境として展開されており、LangChain の Deep Agents と LangSmith を基盤としています。チームは約 6 ヶ月でこれをリリースしました。
問題：巨大なオントロジーにおけるドメイン横断型 AI
Rippling のユーザーは、多くの分野にわたって多様な質問を投げかけます。「残高はいくらか？」という質問は、健康貯蓄口座、クレジットカード、請負業者への支払い口座、さらには休暇ポリシーにも関連し得るものです。マネージャーが人員数について尋ねた後、支出分析へと話題を変え、新規採用者のデバイスプロビジョニング状況を確認することもあります。Rippling の AI レイヤーは、巨大で不定形な領域全体にわたって曖昧さを解消し、効果的に推論する能力を備えている必要があります。
データモデルがそれを困難にしていました。数千のテーブルとドメイン間で重複するエンティティ名が存在するため、スキーマチャンクを大規模言語モデル（LLM）に渡すだけでは機能しません。チームは、コンテキストに飲み込まれることなく迅速にドメイン横断的な推論を行えるアーキテクチャを必要としていました。
***私たちが AI を個別の製品に組み込んでいくにつれ、サイロ化された垂直特化型モデルではスケーリングできないことが明確になりました。Rippling のデータモデルは、HR（人事）、IT、財務、グローバルオペレーションにまたがる数千のテーブルを跨ぎ、文脈によって全く異なる意味を持つ重複するエンティティや共有概念を含んでいます。私たちは、特定のドメインに最適化するのではなく、このオントロジー全体で曖昧さを解消し動作できる AI ネイティブな推論レイヤーが必要でした。*— Laks Srini, Rippling AI プロダクトオーナー
Rippling が AI エージェントをこれほど高速に統合できたのは、チームが最初から LangChain を構築し、コンポーザブルなエージェントのプリミティブと LangSmith 内の共有観測レイヤーを活用していたからです。Deep Agents のローンチ時には、Rippling AI の中核となる推論ループとしてこれを採用しました。
「Deep Agents が登場した瞬間、これが私たちのためにどれほど強力なアジェンティックな推論ループを提供できるかを確認したかったのです。これは私たちが築いてきた関係性と信頼してきた技術の自然な延長線上にあるものです。」— Sahin Olut 氏（Rippling AI 主任エンジニア）
彼らが採用したアーキテクチャは、5〜7 の専門的なサブエージェントを調整するスーパーバイザー・エージェントであり、LangSmith がトレーシング、評価、および本番環境のモニタリングを担当しています。
仕組み：Deep Agents によるマルチエージェントシステム
顧客は Rippling ポータルおよびモバイルアプリ内のチャットインターフェースを通じて Rippling AI と対話しますが、単なるテキスト入力ボックスを超えた機能を持っています。構造化データはソート可能でフィルタ可能なテーブルとしてレンダリングされ、多肢選択式の明確化は選択用 UI として表示されます。アクション確認には専用のインタラクションパターンが用意されています。
裏側では、Rippling AI はマルチエージェントシステムです。スーパーバイザー・エージェントの下に、3 つ種類の専門的な Deep Agents が配置されています。
- リップリングの全製品領域（HR、給与計算、IT、財務）および Salesforce、Carta、GitHub といった接続プラットフォームにまたがる構造化データをエージェントが照会します。
- RAG エージェントは、未構造化ソースから情報を取得します。これには、リップリング内でホストされているヘルプセンターのドキュメント、従業員ハンドブック、人事ポリシー文書が含まれます。
- アクションエージェントは、リップリング内での書き込み操作を実行します。例えば、ボーナスのアップロード、役職名とレベル構造の正規化、または既存の従業員プロファイルから事前入力された新規採用者のトリガーなどが該当します。
スーパーバイザーエージェント**は最上位に位置し、主要な推論ループを運用して、着信する照会内容を分析し、どの専門エージェント（またはその組み合わせ）を呼び出すかを決定します。
コンテキストエンジニアリング：最も困難な課題
リップリングの複雑さとスケールにおいて、コンテキストエンジニアリングが中核的な技術的課題でした。チームはこれを解決するために 3 つのパターンを開発しました。
動的スキル注入
リップリングでは、Deep Agents ミドルウェア を使用してコンテキストの肥大化を抑制しています。ユーザーが質問をすると、検索ステップでまずリップリングのセマンティック層を用いて関連するドメインを特定し、その後、そのドメインにスコープされたスキル（給与計算、デバイス、ATS、支出など）を注入します。再ランク付け器が積極的に剪定を行うことで、コンテキストサイズを 100 倍から 500 倍削減しています。
*全体を文脈に含め、その一部であってもコンテキストウィンドウに収めることはできず、Rippling の顧客が期待する時間枠内では不可能です。* — Sahin Olut, Principal Engineer
書き込み操作のためのコード実行
LLM に直接データを操作させるのではなく、Rippling のアクションエージェントはサンドボックス化されたコード実行を使用して、入力（例えばクライアントからの CSV ファイルなど）を Rippling の内部ツールが期待する形式に正規化します。これにより、「何をすべきか」（LLM の推論）と「どのようにフォーマットするか」（決定論的なコード）を分離し、データの正規化の信頼性と監査可能性を維持しています。
REPL による変数の固定
チームが得た最も鋭い洞察の一つは、LLM が長い英数字 ID を暗記する際に幻覚を起こす様子を観察したことです。その解決策として、REPL（対話型実行環境）がエージェントのステップ間でランタイム変数ストアを維持します。エージェントはツール呼び出し間で生のエンティティ文字列を渡すのではなく、名前付き変数を参照します。
LangSmith を用いた観測性と評価
すべてのエンジニアが単一の AI システムに取り組んでいるため、共有されクエリ可能なトレースストアは、チームの協働において不可欠です。
*大規模なすべての会話を引き出して分析する能力…LangSmith がそれを可能にします。その上には一連の自動分析が稼働しています。* — Laks Srini, Product Owner
自己修復評価ループ
チームは、回帰を検出し解決するための半自動ループを構築しました。まず、LangSmith から失敗したプロダクションのトレースを取得します。エージェントがその失敗を分析し、修正策を提案して評価を再実行し、改善を確認するまで反復処理を行います。最後に、人間が結果として生成されたプルリクエスト（PR）を検証してマージします。
*失敗したトレースを取得し、エージェントに状況を理解させ、いくつかの解決策を提案させ、評価を再度実行して改善されるか確認し、完了するまでループさせます。LangSmith がこれを可能にしているのは、システムのあらゆる地点に API が存在するためです。* — Sahin Olut, プリンシパルエンジニア
評価パイプライン
チームは多層化された評価システムを実行しており、すべての結果は LangSmith にアップロードされます：
- オフライン評価：外部依存関係なしで各コミットごとにローカルで実行される、事前に記録されたモックとフィクスチャ。
- マージ後の統合評価（オンライン）：デプロイ前にシステムの健全性を検証するため、完全な Rippling サンドボックスに対して 300〜400 クエリを実行（生 API 呼び出し）。
- デプロイ阻止型評価（オンライン）：すべてのデプロイをゲートする、実システムに対する約 10 の重要なシナリオ。
- 継続的評価（オンライン）：生産環境データに対して毎日複数回スケジュール実行され、ライブシステムの健全性を監視。
今後の展望：LangSmith を活用した継続的改善
世界中で 100 万人以上が Rippling AI を利用しています。すべての会話は LangSmith を経由し、品質追跡、ユーザーフィードバック、そして改善のための継続的なループに貢献します。
複雑で権限管理が必要なプラットフォーム上で AI を構築するチームに対して、Rippling チームのアドバイスは明確です。
*LLM がすでに慣れ親しんでいるシステムを構築してください。エージェントを同僚と捉え、彼らが成功するための最良のツールを整備しましょう：コード実行を有効にし、SQL 記述を可能にし、LLM から詳細を隠さないこと。そして、自己デバッグループを厳密に保ってください。* — Sahin Olut, プリンシパルエンジニア
*Deep Agents は Rippling AI の背後にある推論フレームワークです。*仕組みを見る | *ドキュメントを読む
関連コンテンツ
事例研究
LangGraph
LangSmith
チュートリアルとハウツーガイド
LangGraph と LangSmith を活用した Lyft のカスタマーサポート向けセルフサービス AI エージェントプラットフォーム構築法
Akshay Sharma
2026 年 5 月 27 日
10 分
事例研究
LangChain と LangSmith を活用した Madrigal の医薬品向け柔軟かつスケーラブルなマルチエージェント研究・インテリジェンスプラットフォーム構築法
P. パテル、
R. フィリッポ
2026 年 4 月 29 日
11 分
ケーススタディ
LangSmith（ラングスミス）
Insights エージェントを活用して AI 財務アシスタントを改善した Credit Genie の事例
D. リー、
J. ンガイ、
G. ロサノ・パラシオ、
C. ユアン
2026 年 4 月 20 日
5 分
エージェントの実際の動作を確認する
LangSmith は、エージェントエンジニアリングプラットフォームであり、開発者がすべてのエージェントの意思決定をデバッグし、変更の評価を行い、ワンクリックでデプロイできるように支援します。
原文を表示
How Rippling Went AI-Native Across Every Product in 6 Months with Deep Agents and LangSmith
Key Takeaways
- Rippling needed AI that could reason across a massive ontology. Its data model spans thousands of tables and overlapping concepts across HR, IT, payroll, finance, and global operations.
- Deep Agents power Rippling AI’s multi-agent architecture. A supervisor agent coordinates specialized read, RAG, and action agents to answer questions, retrieve context, and execute workflows.
- LangSmith supports production debugging and evaluation. Rippling uses traces, layered evals, and a semi-automated self-healing loop to catch regressions and improve system quality over time.
Rippling is a workforce management platform that manages everything from onboarding and benefits to device provisioning and spend management. Their data model spans HR, IT, payroll, finance, and global operations: thousands of tables, hundreds of thousands of fields, and concepts that share names across domains. Building an AI layer that reasons across all of it required a new architecture.
*Rippling AI*, now in production across million of users globally , runs on LangChain Deep Agents and LangSmith. The team shipped it in roughly 6 months.
The Problem: Cross-Domain AI on a Massive Ontology
Rippling users ask a lot of questions about a lot of things, across many domains. “What’s my balance?” is a question that could pertain to a health savings account, a credit card, a contractor payment account, even a time-off policy. A manager might ask about headcount, pivot to spend analysis, then check a new hire's device provisioning status. Rippling’s AI layer needs to be able to disambiguate and reason effectively across a huge, amorphous surface.
The data model made that difficult. With thousands of tables and overlapping entity names across domains, passing schema chunks to an LLM doesn't work. The team needed an architecture that could quickly reason across domains without drowning in context.
As we embedded AI into individual products, it became clear that siloed, vertical-specific models couldn't scale. Rippling's data model spans thousands of tables across HR, IT, finance, and global ops — with overlapping entities and shared concepts that mean entirely different things depending on context. We needed an AI-native reasoning layer that could disambiguate and operate across that entire ontology, not just optimize for one domain.— Laks Srini, Product Owner, Rippling AI
The speed by which Rippling integrated AI agents was possible because the team built with LangChain from the start, using composable agent primitives and a shared observability layer in LangSmith. When Deep Agents launched, they adopted it for Rippling AI's core reasoning loop.
As soon as Deep Agents came out, we wanted to use it to see how good it would be for us to have a really strong agentic reasoning loop. It was a continuation of the relationship we had and the tech that we trusted. — Sahin Olut, Principal Engineer, Rippling AI
The architecture they landed on is a supervisor agent coordinating 5 to 7 specialized subagents, with LangSmith handling tracing, evaluations, and production monitoring.
How It Works: A Multi-Agent System of Deep Agents
Customers interact with Rippling AI through a chat interface inside the Rippling portal and mobile app, but it goes well beyond a text box. Structured data renders as sortable, filterable tables. Multi-choice clarifications surface as selection UIs. Action confirmations have dedicated interaction patterns.
Under the hood, Rippling AI is a multi-agent system. Three types of specialized Deep Agents sit beneath a supervisor agent:
- Read agents query structured data across all of Rippling's product areas (HR, payroll, IT, finance) and connected platforms like Salesforce, Carta, and GitHub.
- RAG agents retrieve from unstructured sources: help center docs, company handbooks, and HR policy documents hosted in Rippling.
- Action agents execute write operations within Rippling. For example, uploading bonuses, normalizing job titles and leveling structures, or triggering new hires pre-populated from prior employee profiles.
The supervisor agent sits on top operating the primary reasoning loop that analyzes incoming queries and decides which specialized agent (or combination) to invoke.
Context Engineering: The Hardest Problem
At Rippling’s complexity and scale, context engineering was the core technical challenge. The team developed three patterns to solve it.
Dynamic skill injection
Rippling uses Deep Agents middleware to reduce context bloat. When a user asks a question, a search step uses Rippling's semantic layer to identify the relevant domain first, then injects a skill scoped to that domain (payroll, devices, ATS, spend, etc.). Re-rankers prune aggressively, reducing context size by 100 to 500x.
If you put the whole thing in context, even a chunk of it, there are so many conflicting entities that it just won't fit in the context window in the timeframe Rippling's customers expect. — Sahin Olut, Principal Engineer
Code execution for write operations
Rather than asking the LLM to manipulate data directly, Rippling’s action agents use sandboxed code execution to normalize inputs (say, a CSV from a client) into the format Rippling's internal tools expect. This separates "what to do" (LLM reasoning) from "how to format it" (deterministic code), keeping data normalization reliable and auditable.
Variable pinning via a REPL
One of the team's sharpest insights came from watching LLMs hallucinate when reciting long alphanumeric IDs. Their fix: a REPL maintains a runtime variable store between agent steps. The agent refers to named variables instead of passing raw entity strings across tool calls.
Observability and Evals with LangSmith
With all engineers working on a single AI system, a shared, queryable trace store is essential to how the team collaborates.
The ability to pull and analyze all conversations at scale… LangSmith makes that possible. We have a bunch of automated analysis running on top of it. — Laks Srini, Product Owner
Self-Healing Eval Loop
The team built a semi-automated loop that catches regressions and closes them. First, failing production traces get pulled from LangSmith. An agent analyzes the failures, proposes fixes, and re-runs evals to confirm improvement, iterating until regressions close. Finally, a human reviews and merges the resulting PRs.
We pull failing traces, have an agent understand what's going on, propose a few solutions, run the evals again to see if it improves, and loop until it's complete. LangSmith makes this possible because there's an API at every point in the system. — Sahin Olut, Principal Engineer
The Eval Pipeline
The team runs a layered eval system, with all results uploaded to LangSmith:
- Offline evals: Pre-recorded mocks and fixtures that run locally on every commit without external dependencies.
- Post-merge integration evals (online): 300 to 400 queries against a full Rippling sandbox (live API calls) to validate system health before deployment.
- Deploy-blocking evals (online): ~10 critical scenarios against real systems that gate every deployment.
- Continuous evals (online): Scheduled runs against production data, multiple times daily, monitoring live system health.
What's Next: Continuous Improvement With LangSmith
More than one million people using Rippling AI globally. Every conversation flows through LangSmith, feeding a continuous loop of quality tracking, user feedback, and improvement.
For teams building AI on complex, permission-sensitive platforms, the Rippling team's advice is direct:
Build the systems that LLMs are already familiar with. Think of agents as your co-workers and build the best tools for them to be successful: enable code execution, enable writing SQL, don't obscure details from the LLM. And have a tight self-debugging loop.— Sahin Olut, Principal Engineer
*Deep Agents is the reasoning framework behind Rippling AI. *See how it works* | *Read the docs
Related content
Case Studies
LangGraph
LangSmith
Tutorials & How-Tos
How Lyft Built a Self-Serve AI Agent Platform for Customer Support with LangGraph and LangSmith
Akshay Sharma
May 27, 2026
10
min
Case Studies
How Madrigal Built a Flexible and Scalable Multi-Agent Research and Intelligence Platform for Pharma with LangChain and LangSmith
P. Patel,
R. Filippo
April 29, 2026
11
min
Case Studies
LangSmith
How Credit Genie used Insights Agent to improve their AI financial assistant
D. Li,
J. Ngai,
G. Lozano Palacio,
C. Yuan
April 20, 2026
5
min
See what your agent is really doing
LangSmith, our agent engineering platform, helps developers debug every agent decision, eval changes, and deploy in one click.
関連記事
Amazon Bedrock AgentCore の新機能：広範な知識と継続的学習を備えたエージェント構築が可能に
AWS は Amazon Bedrock AgentCore に新機能を追加し、 SharePoint などの外部ドキュメントへのアクセスやフィードバックの活用を通じて、エージェントが本来持つ能力を発揮できるようにした。これにより、顧客対応や研究支援などにおいて、より高度な推論と計画が可能となる。
AI アシスタントを構築した理由と方法について
著者は既存の有料サービスではなく独自のカスタム AI アシスタントを構築した経緯、システムアーキテクチャ、実際のコード、発生した問題点、そして現在の実用状況について率直に報告している。
深層エージェントにおけるコンテキスト管理
LangChain Blog は、複雑なタスクを処理する深層エージェントの性能向上のために、コンテキストを効果的に管理・最適化する手法について解説している。
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み