LangChain、2023 年 AI 業界動向レポートを公開

2023 年、ChatGPT の登場をきっかけに生成 AI への関心が爆発的に高まりました。スタートアップから大企業まで、あらゆる企業が自社の生成 AI 戦略の策定に追われています。

「どうやって生成 AI を製品に取り込むか」「参照すべきアーキテクチャは何か」「ユースケースに適したモデルはどれか」「使用するべき技術スタックは何か」「LLM アプリケーションをどのようにテストするか」——これらは今、企業が自問している核心的な課題です。不確実性が漂うこの時期に、他社が何をしているのかを知りたいという欲求も強まっています。

これまでいくつかの試み [1] が行われ、[2] によって状況の一端が明らかになりつつありますが、LangChain はエコシステムにおける独自の立場を活かし、チームが実際に LLM をどう活用しているかについて、より本質的な洞察を提供できると考えています。

そのためには、LangSmith の匿名化されたメタデータを活用します。LangSmith は、プロトタイプから本番環境への移行を容易にするクラウドプラットフォームです。トレーシング、回帰テスト、評価などの機能を提供しています。現在はまだプライベートベータ版ですが、毎日待機リストからの参加者を募っていますので、こちら からサインアップしてください。また、エンタープライズ向けアクセスやサポートをご希望の場合は、お問い合わせください。

これにより、「何」を構築しているか、「どのように」構築しているか、そして「どのようにテスト」しているかなどについて回答することができます。すべての統計データは、2023 年 7 月 2 日から 2023 年 12 月 11 日までの期間に取得したものです。

人々はどのようなものを構築しているのか？

ここでは、人々が構築している一般的なプロジェクトの一部をご紹介します。

LangSmith は LangChain とシームレスに連携しますが、LangChain エコシステムの外でも簡単に利用可能です。実際、LangSmith の利用者の約 15% は LangChain を使用していません。LangChain を使っているかどうかにかかわらず、上記のすべてのコンポーネントが同じように機能するよう、オンボーディング体験 の改善に多くの取り組みを行ってきました。

データと LLM（大規模言語モデル）を組み合わせる手法として、「検索」が主流となっています。LangChain では、非構造化データをインデックス化する最も一般的な方法である 60 以上のベクトルストア との連携を提供しています。また、多くの 高度な検索戦略 も用意されています。複雑なクエリの 42% が検索機能を利用しているという事実は、検索の重要性を示すだけでなく、LangChain がいかに検索を容易にしているかを物語っています。

最後に、複雑なクエリの約 17% がエージェントの一部となっていることがわかります。Agents では、LLM に次のステップを判断させることで、システムが複雑なクエリや特殊なケースにより柔軟に対応できるようになります。ただし、まだ信頼性やパフォーマンスの面で完全とは言えず、そのために導入事例がこれほど広がっていないのかもしれません。

LCEL の利用状況

ここ数ヶ月で LangChain に大きく追加された機能の一つが、LangChain Expression Language（通称 LCEL）です。コンポーネントを簡単に組み合わせられるため、複雑なカスタムチェーンの構築に最適です。生成 AI の活用はまだ初期段階であり、誰もが LLM を自社の目的に合わせてどう動かすか模索している最中です。そのため、多くの試行錯誤とカスタマイズが必要となりますが、LCEL はそのプロセスを容易にし、機能追加やドキュメントの改善に伴い、利用頻度がここ数ヶ月で急増しました。

最も利用されている LLM プロバイダー

この技術革新の中心にあるのが LLM です。では、人々はどの LLM プロバイダーを利用しているのでしょうか？

驚くべきことではありませんが、OpenAI がトップに位置し、そのすぐ後に AzureOpenAI が続いています。OpenAI は 2023 年における主要な大規模言語モデル（LLM）プロバイダーとして台頭し、より堅牢なエンタープライズ向け保証を備えた Azure もその勢いをうまく取り込んでいます。

独自モデルを提供する他のホスティングサービスとしては、Anthropic（3 位）、Vertex AI（4 位）、Amazon Bedrock（8 位）が挙げられます。

オープンソースモデルの分野では、Hugging Face（4 位）、Fireworks AI（6 位）、そして Ollama（7 位）が、ユーザーがこれらのモデルと対話する主要な手段として浮上しています。

なお、これらの順位は各プロバイダーを利用したユーザー数に基づいています。

最も利用されているオープンソースモデルプロバイダー

ここ最近、オープンソースモデルへの注目が集まっており、より低コストでこれらのモデルをホストしようとするプロバイダーが次々と参入しています。では、開発者は実際にどのようにしてこれらのオープンソースモデルにアクセスしているのでしょうか？

これらのモデルは、主にローカル環境で実行されていることがわかりました。そのための選択肢として、Hugging Face、LlamaCpp、Ollama、GPT4All などが高い評価を得ています。

オープンソースモデルへの API アクセスを提供するプロバイダーでは、Fireworks AI がトップを走り、次いで Replicate、Together、Anyscale が続きます。

なお、これらのランキングは各プロバイダーを利用したユーザー数に基づいています。

最も利用されているベクトルストア

前述の通り、検索機能は LLM アプリケーションにおいて極めて重要な要素です。ベクトルストアは、関連する文脈を取得するための主要な手段として台頭しています。LangChain では 60 以上のベクトルストア統合を提供していますが、実際に最も多く利用されているのはどれでしょうか？

ローカルベクトルストアの利用が最も多く、Chroma、FAISS、Qdrant、DocArray の 4 つが上位 5 位以内にランクインしています。このランキングは各ベクトルストアを利用したユーザー数を基に算出されているため、無料かつローカル環境で動作するベクトルストアが上位に来るのは自然な結果です。

ホスト型サービスの中では、Pinecone がトップ 5 唯一の存在として首位を独占しています。次いで Weaviate が続きます。これは現在、ベクトルネイティブデータベースの方が、既存データベースにベクトル機能を追加したタイプよりも広く利用されていることを示しています。

ベクトル機能を追加したデータベース製品では、Postgres (PGVector)、Supabase、Neo4j、Redis、Azure Search、Astra DB が主要な選択肢として挙げられています。

なお、これらのランキングは、各プロバイダーを利用したユーザー数に基づいています。

最も利用されている埋め込みモデル

ベクトルストアを利用するには、テキストの断片に対して埋め込み（embeddings）を計算する必要があります。では、開発者はどのようにしてそれを行っているのでしょうか？

大規模言語モデル（LLM）と同様に、OpenAI が圧倒的な地位を築いていますが、その後は多様化が進んでいます。オープンソース系のプロバイダーの利用が増加しており、Hugging Face が第 2 位にランクインしています。また、GPT4All や Ollama もトップ 8 入りを果たしています。ホスト型サービスに目を向けると、Vertex AI が AzureOpenAI を上回っており、Cohere や Amazon Bedrock もその差は僅かです。

高度な検索戦略トップ

埋め込みベクトル間のコサイン類似度計算だけでは、検索の精度に限界があります。そのため、多くの人が 高度な検索戦略 に頼る傾向にありますが、LangChain にはそうした手法の実装例やドキュメントも多数用意されています。

それでもなお、最も一般的に使われているのは LangChain の標準機能ではなく、独自にカスタマイズされた検索戦略です。これは以下のことを示しています。

• LangChain でカスタム検索戦略を実装する容易さ
• 最高のパフォーマンスを達成するために、独自ロジックの実装が必要であること

その後は、より馴染みのある名前が登場します。

ユーザーの質問からメタデータフィルタを抽出する Self Query

Supabase や Pinecone などのプロバイダー固有の統合を通じて主に機能する Hybrid Search

ベースとなる検索結果に対する後処理を行う Contextual Compression

単一のクエリを複数に変換し、すべてに対して結果を取得する Multi Query

新しいドキュメントにより優先度を付与する TimeWeighted VectorStore

人々はどのようにテストしているのか？

LLM アプリケーションの構築において、開発者が直面する最大の課題の一つとして 評価とテスト が浮上しています。これに対応するための手段として、LangSmith は 最も優れた方法の一つ となっています。

LLM アプリの評価指標を策定できるユーザーが大多数を占めています。テスト実行の 83% に何らかのフィードバックが紐付けられており、フィードバック付きの実行では平均して 2.3 種類の異なるフィードバックタイプが使用されています。これは、開発者が単一の信頼できる指標を見つけることに苦戦しており、複数の指標を組み合わせて評価を行っていることを示唆しています。

記録されたフィードバックの多くは LLM を利用 して出力を検証しています。これに対して懸念や慎重な姿勢を示す声もありますが、私たちはこのアプローチに楽観的です。実際の実装において、これがテストの主流として確立されつつあることが見て取れます。また注目すべき点は、評価者の約 40% が カスタム評価器 であることです。これは、評価が対象とするアプリケーションに強く依存し、万能な評価器は存在しないという実態と合致しています。

何を検証しているのか？

多くの人が依然として、アプリケーションの「正しさ」に最も関心を持っていることがわかります（毒性やプロンプト漏洩、その他のガードレールなどとは対照的に）。また、「完全一致」を評価手法として利用する割合が低いことから、正しさを判断するのはしばしば非常に複雑であることも読み取れます。出力結果をそのまま比較するだけでは不十分なのです。

結論

LLM アプリ開発の最初の本当の年が幕を閉じようとしています。多くのチームから、「プロトタイプから本番環境へのギャップを埋めたい」という声が聞こえてきます。これらの利用統計を共有することで、人々が何を構築し、どのように構築し、そしてどのようにテストしているのかについて、少しでも光が当たることを願っています。

LangSmith は、LangChain を使用しているかどうかにかかわらず、チームがアプリケーションをプロトタイプから本番環境へ移行するための支配的な手段として台頭しています。エンタープライズ向けのアクセスやサポートをご希望の場合は、お問い合わせいただくか、こちらからサインアップしてください。