LangChain、Web 調査自動化のためのシンプルな検索器を公開

Motivation

Web research は、LLM 応用のなかでも特に有望な分野の一つです。Greg Kamradt 氏はこれを「最も期待される AI ツールの一つ」として注目しており、gpt-researcher のようなオープンソースリポジトリも急速に人気を集めています。

私たちはこの課題に取り組み、当初は他の多くの開発者と同様に Web リサーチエージェントの構築を目指しました。しかし、結果として辿り着いたのは、比較的シンプルながら効果が高く、柔軟な構成が可能な検索システムでした。例えば、PrivateGPT のようなプロジェクトで広まった「プライベートモード」での実行も容易に設定できます。

本稿では、私たちの探求と思考プロセス、システムの構築方法、そして今後の展望について解説します。

Exploration

gpt-researcher や AI 検索エンジン（perplexity.ai）のような既存のプロジェクトは、Web リサーチがどのように再定義されるべきかを示唆しています。多くの開発者と同様に、私たちはまず、プロンプトとツールセットを与えられれば自律的に Web を探索するエージェントを設計しました。

そのためには、以下の機能を持つツールが必要不可欠です：

検索して該当ページを返す

• 返されたページの全文をスクレイピングする
• ページから関連情報を抽出する

これらのツールを活用すれば、エージェントは人間が行うような作業を模倣できます。つまり、トピックを検索し、選んだリンクを開き、有用な情報がないか素早く読み込み、必要に応じて検索に戻って反復的に探索を行うのです。私たちはこのようにエージェントを作成してツールを与えましたが、結果として反復的な検索プロセスで人間のようにゆっくりと迷走してしまうことが判明しました。

改善点

AI が独自に活用できる中核的な利点に気づきました。それは、複数の検索を並行して開始し、その結果として多数のページを並列で「読む」ことができる点です。もちろん、逐次的な検索の最初の記事ですべて必要な情報が得られている場合、このアプローチは非効率になるリスクがあります。しかし、AI 研究者が関与する必要があるような複雑な質問においては、このリスクはある程度緩和されます。このプロセスをサポートするために、いくつかの基本的な ツール を追加しました。

多数のページから並列に収集した膨大な情報の中から、最も関連性の高いチャンクを各ページから取得し、LLM のコンテキストウィンドウに読み込んで統合処理を行うのは理にかなっているように思えました。しかし、この時点で私たちは、エージェントが「検索支援型システム（レトリーバー）」へと変貌しつつあることに気づきました。（注：最後に議論するように、エージェントとしての特性はこのレトリーバーをさらに強化できると考えています。）

検索支援機能の仕組み

このレトリーバーは、実際にはどのような処理を行っているのでしょうか。私たちの考え方は以下の通りです。

LLM を用いて複数の関連する検索クエリを生成します（LLM の呼び出しは 1 回）。

次に、各クエリに対して検索を実行し、各クエリごとに上位 K 件のリンクを選択します。この際、複数の検索呼び出しを並列処理します。

選択したすべてのリンクから情報を取得し、ページを並列スクレイピングします。

取得したドキュメントをベクトルストアにインデックス付けします。

最後に、各元の生成された検索クエリに対して最も関連性の高いドキュメントを検索します。

これら一連のステップは、Retrieval Augmented Generation (RAG) のフロー に該当します。

また、このロジックは gpt-researcher のエージェントアーキテクチャと類似しています。

これはエージェントではありませんが、ロジックの類似性はアプローチの有効性を確認する有用なチェックになります。私たちは新しい LangChain retriever を作成し、設定を含む 使用方法 のドキュメントも提供しています。

例えば「LLM 搭載の自律型エージェントはどのように動作するのか？」という質問に対して、LangSmith を使ってプロセスを可視化・検証できます（トレースはこちら）。この retriever は、Lilian Weng 氏の エージェントに関するブログ記事 など適切なソースからチャンクを読み込み、取得していることが確認できます。

ドキュメントにも記載されている通り、LlamaV2 と GPT4all の埋め込み などを活用すれば、「プライベートモード」で同様のプロセスを実行する設定も容易に可能です（以下は、私の Mac M2 Max GPU で実行したトレースです。処理速度は約 50 トークン/秒）：

実装方法

検索機能（retriever）を、シンプルな Streamlit のユーザーインターフェースでラップしました。この UI は、必要な LLM やベクトルストア、検索ツールを自由に選んで設定可能です。コード量はわずか約 50 行です（こちら を参照）。

まとめ

当初は自律的な Web 調査エージェントの構築を目指していましたが、結果としてシンプルかつ効率的でカスタマイズ性の高い検索機能へと進化しました。もちろん、これはあくまで第一歩に過ぎません。

今後は以下のような「エージェント（agent）」機能を追加することで、さらに価値を高められる可能性があります：

• 初期調査後に LLM に問いかけ、追加情報が必要かどうかを確認する
• 複数の「記述」および「修正」用エージェントを活用し、最終回答を組み立てる

これらの機能に興味があれば、ベースリポジトリ にプルリクエスト（PR）を送ってください。一緒に実装を進めていきましょう！

Bard や Perplexity.ai などの大規模モデルによるホスト型 AI 検索は非常に高性能ですが、ウェブ調査のための軽量な小規模ツールにも重要な利点があります。例えば、プライバシー保護のために外部にデータを一切共有せずローカルのノート PC で実行できること、使用するオープンソースコンポーネントを自由に選べる柔軟性、そして LangSmith などのツールを使って「内部」で何が起きているかを可視化できる観測性の高さなどが挙げられます。

関連コンテンツ

LangChain

LangSmith

観測性と評価

コーディングエージェントの請求額が倍増した。その対処法。

Amy Ru

2026 年 7 月 2 日

6 分

.png)

オープンソース

LangChain

エージェントアーキテクチャ

ディープエージェント

カスタムエージェントハッチの構築方法

Sydney Runkle

2026 年 6 月 3 日

6 分

LangChain

オープンソース

LangGraph

トークンストリームからエージェントストリームへ

C. Bromann,

N. Hollon

2026 年 5 月 21 日

9 分

エージェントの実際の動作を確認する

エージェントエンジニアリングプラットフォーム「LangSmith」を使えば、開発者はあらゆるエージェントの判断をデバッグし、変更の評価を行い、ワンクリックでデプロイすることが可能です。