LangChain、Airbyte 連携でデータ取り込みの生産環境対応を強化

ここ数ヶ月、私たちが最も力を入れているのは、チームがプロトタイプから本番環境へ移行できるようにすることです。1 時間で開発したアプリを、実際に信頼して使える状態に引き上げるためです。

LangChain が特に支援しているアプリケーションのカテゴリーとして、LLM に独自のデータを接続する「検索ベースのアプリケーション」が最も大きな割合を占めています。しかし、こうした検索ベースのアプリを実際の運用環境へ移行するには、いくつかの重要な要素が必要です。

その一つがデータクエリに関連するすべてです。そこで私たちは LangSmith を立ち上げました。これは、LLM がユーザーの問い合わせや取得したドキュメントとどのように相互作用しているかをデバッグし、監視するためのツールです。

もう一つの大きな要素は、クエリアルゴリズムとその周辺 UX です。そのため私たちは Conversational Retrieval Agents などの取り組みを推進しています。（特にこの部分に関心がある方は、8 月 9 日に開催されるウェビナー「Advanced Retrieval」にご参加ください。）

そして三つ目、おそらく最も重要なのが、データ取り込みロジックそのものです。アプリケーションを本番環境へ移行する際、接続先のデータを信頼性が高く効率的な方法で、一定のスケジュールに基づいて更新できることが求められます。

まず取り組むべき課題として、Airbyte とのより深い統合を提案します。これまでの Airbyte 連携（ドキュメントローダーとして Airbyte のソースを利用する方法）では、LangChain 内で Airbyte のデータソースを活用できることが示されましたが、今回の連携は逆方向の動きです。Airbyte 側に LangChain を活用した「宛先（Destination）」を追加するものです。

この連携の詳細については、Airbyte の公式ブログ こちら でご確認いただけます。本稿では同ブログの内容を繰り返すのではなく、なぜこれが重要なステップだと私たちが考えるのかに焦点を当てます。

LangChain 側にも独自の「ソース」と「宛先」が存在します。数百種類のドキュメントローダーや 50 以上のベクトルストア・リトリーバー連携を提供しています。しかし、これらは互いに代替し合うものではなく、コミュニティ全体にとって有益な相互補完的な連携です。

まず、Airbyte は 数百以上のソース を提供しており、堅牢なオーケストレーションロジックや、新たなソースを作成するための ツール も用意されています。ここでは特にオーケストレーションの仕組みに注目しましょう。

データインデックスにアクセス可能なチャットボットを構築する場合、データを一度だけインデックス化して放置すればよいわけではありません。定期的に再インデックス化を行い、常に最新の状態を維持する必要があります。このようなデータパイプラインこそが、Airbyte が得意としてきた分野であり、長年培ってきた強みです。

さらに、データ取り込みプロセスは単にソースから宛先へデータを移動させるだけではありません。効果的な検索を実現するために必要な、重要かつ複雑で繊細な変換処理も含まれます。その中でも特に重要なのが、「テキストの分割」と「埋め込み（embedding）」の 2 つです。

テキストを分割する処理は重要です。ベクトルストアに格納するために、データを適切なチャンク（断片）に分ける必要があるからです。これらのチャンクは、検索された際に意味が通じるよう、それ単体で文脈的な意味を持つものであるべきです。そのため、単純に 1000 文字ごとに区切るだけでは不十分なケースが多くあります。

LangChain では、異なるアルゴリズムを活用し、Markdown や Python コードなどテキストの種類に合わせて最適化された、15 種類以上のテキスト分割実装を提供しています。これらの多様なテキストスプリッターがどのような機能を持つのかを探索する際の手助けとして、私たちは オープンソース でプレイグラウンドを公開し、ホスト しています。

埋め込み（Embeddings）は、これらのチャンクを検索可能にするために不可欠です。通常、これはユーザーの問い合わせ文の埋め込みと、取り込んだドキュメントの埋め込みを比較することで実現されます。埋め込みを提供するプロバイダーやホスティングプラットフォームは多数存在しますが、LangChain はそのうち 50 以上との統合をサポートしています。

私たちは今回の LangChain と Airbyte の連携に大きな期待を抱いています。この連携により、データ取り込みジョブに対して堅牢なオーケストレーションとスケジューリングが可能になるだけでなく、LangChain が持つ変換ロジックや多様な統合機能も活用できます。さらに、本番環境で使えるデータ取り込みを実現するために、追加の機能や統合が必要だと考えています。今後数週間でそれらの新機能が公開される予定です。