大規模コードベース向け再帰型言語モデル RLM を開発

大規模コードベースを解きほぐす：MIT が提唱する「再帰型言語モデル（RLM）」の実践と未来

従来の AI エンジニアは、小規模なプロジェクトでは驚異的な成果を発揮しますが、モノレポのような巨大なコードベースに直面すると、文脈の膨張によって性能が急落するという課題を抱えていました。MIT が発表した「再帰型言語モデル（RLM）」は、この限界を打破する新たなアプローチとして注目を集めています。

本記事では、AI Engineer チャンネルで Shashi 氏が解説した RLM の核心概念と、Superagentic AI が開発したオープンソースライブラリ「RLM Code」を用いた実演を通じて、大規模コードベースにおける AI エージェントの信頼性を高める具体的な手法を解説します。

従来のアプローチが抱える「文脈の壁」

コーディングエージェントを小規模なリポジトリで使う場合、その性能は非常に高いものとなります。しかし、モノレポのような巨大なプロジェクトになると話は別です。コンテキスト（文脈）が増えすぎると、モデルの処理能力が低下し、重要な情報を見失ったり、誤った推論を行ったりするリスクが高まります。

この問題に対処するため、業界ではいくつかのアプローチが取られてきました。

• 検索ベース: RAG（Retrieval-Augmented Generation）のようにファイルシステムを検索して関連箇所を抽出する手法。
• 意味的検索: コードの文脈を理解した上でキュレーションを行う手法。
• 要約とメモリ: 長いコンテキストを圧縮・要約したり、エージェントの記憶を永続化させたりする手法。

しかし、これらはすべて「モデルが直接全データを読み込む」あるいは「限定的な検索結果を渡す」という点で共通しており、大規模かつ複雑なコードベースの構造全体を理解させるには限界がありました。

RLM の核心：コンテキスト管理の「外部化」

RLM（Recursive Language Model）が提唱する最も重要な概念は、「コンテキスト管理をプログラム可能な実行環境に外部化する」という点です。これは、モデルのコンテキストウィンドウに全データを詰め込むのではなく、独立した環境でスクリプトを実行させて必要な情報を抽出・計算させるアプローチです。

Shashi 氏はこれを「リードエンジニア」の行動例に例えて説明しています。

あなたが巨大なコードベースを持つ新プロジェクトのリードエンジニアになったと想像してください。あなたは全ファイルを一行ずつ読むでしょうか？いいえ、おそらくコードベースを検索し、メモを取り、依存関係や構造を把握しようとするでしょう。もし不明点があれば、他のエンジニアや専門家に質問します。

RLM も同様に動作します。モデルは単にテキストを読み込むのではなく、リポジトリ全体を対象とした「調査」を行います。

1. スクリプトの記述（Ripple）: モデルがコードベースを検索・分析するためのスクリプト（Ripple と呼ばれるメモやクエリ）を記述します。
2. 実行と抽出: そのスクリプトを実行環境で動かし、関連する断片や値を計算・取得します。
3. 再帰的問い合わせ: 得られた情報で不十分であれば、再度スクリプトを書き直して別のモデルやシステムへ問い合せます（ループ）。
4. 合成と回答: 最終的に全ての情報を統合し、クリーンな回答を生成します。

この「外部化された文脈管理」により、モデルはコードベースという構造化データの本質的な構造（ディレクトリ構成、テスト、依存関係など）を理解した上で推論を行うことが可能になります。

ライブデモで見る「RLM Code」の実践

MIT の論文に基づき、Superagentic AI が開発したオープンソースライブラリ「RLM Code」を用いたライブデモでは、この再帰的プロセスが可視化されました。Gemini モデルを使用し、Docker コンテナをサンドボックスとして起動する様子が示されています。

デモの流れは以下の通りです。

1. Ripple コードの生成: まずモデルが、必要な情報を取得するためのスクリプト（Ripple）を記述します。
2. 観測と実行: このスクリプトが Docker 内で実行され、コードベースから特定のファイルや依存関係が抽出されます。
3. 再帰的クエリ: 得られた結果で不十分な場合、モデルは再度スクリプトを記述して別の LLM クエリを実行します。このループが繰り返されることで、複雑な文脈が解きほぐされていきます。
4. 最終回答の合成: すべての情報が揃った時点で、モデルは最終的な回答を生成します。

デモでは、トークン使用量やステップ数、そして各段階での「Ripple コード」とその実行結果がリアルタイムで表示されました。これにより、AI がどのように思考し、情報を集めているかを人間が追跡・検証できることが確認できます。

実務への応用と今後の展望

RLM は単なる理論ではなく、すでに実社会での活用が始まっています。Shashi 氏は、X（旧 Twitter）上で多くの企業が「管理型エージェント」や「動的ワークフロー」の裏側で RLM の概念を実装していることを指摘しています。

具体的な活用例としては、以下のようなケースが挙げられます。

• 根本原因分析: 大規模なログやコードから、複雑な因果関係を辿って問題の根源を特定する。
• リポジトリのオンボーディング: 見慣れない巨大プロジェクトに参画した際、構造を素早く理解し、重要な箇所を把握する。
• マルチエージェント協調: 一つのタスクに対し、複数のサンドボックスを持つエージェントが協力して最終結果を返す「動的ワークフロー」の実現。

「最近の動的ワークフローでは、一つのエージェントにタスクを与えると、複数の別々のサンドボックスを持つエージェントが特定され、協力して最終結果を返します。この考え方は基本的に RLM に由来しています。」

Anthropic のクラウドコードエンジニアの一部も、X で RLM の概念を使用したことを認めており、業界全体が「静的なコンテキスト拡張」から「動的な再帰的推論」へと移行しつつあることが伺えます。

まとめ

RLM は、大規模コードベースにおける AI エージェントの信頼性を劇的に向上させる可能性を秘めています。従来の RAG や単純なコンテキスト拡張では解決できなかった「文脈の質」の問題に、外部化された実行環境と再帰的クエリという手法でアプローチするこの技術は、次世代の AI エンジニアリング基盤となる重要な基準となり得るでしょう。

オープンソースライブラリ「RLM Code」が提供されている今、開発者はすぐにでも自社のワークフローに組み込み、独自のハーンネス（エージェント設計）を実装することが可能です。大規模プロジェクトを扱うエンジニアにとって、これは避けて通れない次世代のスキルセットと言えるでしょう。