AutoAdapt：大規模言語モデルの自動ドメイン適応

![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2026/04/AutoAdapt-BlogHeroFeature-1400x788-1.jpg) 概要 問題点：大規模言語モデルを専門性が高く、重大な影響を及ぼす可能性のあるドメインに適応させるのは、時間がかかり、費用が高く、再現が困難です。 構築したもの：AutoAdaptは、実際のデプロイメント制約の下で、計画立案、戦略の選択（例：RAGとファインチューニングの比較）、および調整を自動化します。 動作原理：構造化された設定グラフが適応プロセスの全範囲をマッピングし、エージェント型プランナーが適切なステップを選択して順序付け、予算を考慮した最適化ループ（AutoRefine）が定義された制約内でプロセスを精緻に調整します。 重要性：この結果は、より高速で自動化され、信頼性の高いドメイン適応を実現し、数週間にわたる手動の反復作業を再現可能なパイプラインに変えます。 現実世界の高リスクな環境で大規模言語モデル（LLM: Large Language Models）を展開することは、本来あるべきよりも困難です。法律、医療、クラウドインシデント対応といった高リスクな環境では、モデルをドメイン固有の要件に適応させるプロセスが遅く手動であり再現が困難なため、パフォーマンスと信頼性がすぐに低下する可能性があります。 中核的な課題はドメイン適応（domain adaptation）であり、これは汎用モデルを、ドメインルールを一貫して遵守し、適切な知識を活用し、レイテンシ、プライバシー、コストといった制約を満たすモデルに変換することを意味します。現在、このプロセスは通常、推測に基づき、検索拡張生成（RAG: Retrieval-Augmented Generation）とファインチューニングの間の選択、ハイパーパラメータの調整、そして明確な成果への道筋がないまま評価を反復することを含みます。障害に対応する運用チームは、ドメイン要件から逸脱したモデルや、再現可能な結果を保証せずに数週間かかる調整プロセスを待つ余裕はありません。 この課題に対処するため、AutoAdaptをご紹介できることを嬉しく思います。論文「AutoAdapt: An Automated Domain Adaptation Framework for Large Language Models」において、私たちはドメイン適応のためのエンドツーエンドかつ制約を考慮したフレームワークについて説明しています。タスクの目的、利用可能なドメインデータ、そして精度、レイテンシ、ハードウェア、予算といった実用的な要件が与えられた場合、AutoAdaptは有効な適応パイプラインを計画し、RAGや複数のファインチューニング手法の中から選択し、予算を考慮した精緻化ループを使用して主要なハイパーパラメータを調整します。その結果、ドメイン対応モデルをより迅速かつ一貫して構築するための実行可能で再現可能なワークフローが得られ、現実の環境におけるLLMの信頼性を高めるのに役立ちます。 ポッドキャストシリーズ ![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2025/06/Episode7-PeterBillSebastien-AIRevolution_Hero_Feature_River_No_Text_1400x788.jpg) 医療におけるAI革命：再訪 マイクロソフトのピーター・リーと共に、AIが医療に与える影響と、それが医療の未来を意味するところを探る旅にご参加ください。 今すぐ聴く 新しいタブで開く 仕組み AutoAdaptは実用的な観察から始まります。チームが必要とするのは単により良いプロンプトやより多くのデータではなく、タスク、そのドメインデータ（domain data）、実際の制約を確実に機能するアプローチにマッピングする意思決定プロセスです。これを実現するため、AutoAdaptはドメイン適応（domain adaptation）を制約付き計画問題として扱います。自然言語で提供された目的、データセットの規模と形式、レイテンシ、ハードウェア、プライバシー、コストに関する制限が与えられた場合、チームが実行・デプロイできるエンドツーエンドのパイプラインを提供します。 ドメイン適応（domain adaptation）は設計空間が広く複雑であるため、往々にして試行錯誤のように感じられます。チームはRAG、教師ありファインチューニング（supervised fine-tuning）、パラメータ効率的な手法（LoRAなど）、アライメントステップといったアプローチの中から選択する必要があり、それぞれに多くのハイパーパラメータが存在します。これらの選択肢は直感的ではない方法で相互作用し、すべての組み合わせが有効とは限らないため、信頼できる戦略を特定することが困難です。この問題はLLM（Large Language Model）トレーニングの高コストによってさらに複雑化し、探索できる構成の数が制限されます。 AutoAdaptはこれに対応するため、適応構成グラフ（Adaptation Configuration Graph, ACG）を導入します。これはシステムの構成空間を構造化して表現したもので、有効なパイプラインを保証しつつ効率的な検索を可能にします。 ACGを基盤として、AutoAdaptは意思決定を行いその正当性を説明するプランニングエージェント（planning agent）を使用します。戦略を提案し、ユーザーの要件に対して評価した上で、計画が実行可能で根拠があるまで反復します。制約のないブラックボックス内で最適化するのではなく、AutoAdaptは各意思決定をベストプラクティスと明示的な制約に根ざさせ、パラメータ範囲付きの実行可能ワークフローを生成します。 最後に、AutoAdaptはAutoRefineを導入します。これは予算を考慮したリファインメントループ（refinement loop）であり、限られたフィードバック下でも次の実験を戦略的に選択することでハイパーパラメータを最適化します。AutoRefineは、週単位の手動チューニングに代わり、監査やプロジェクト間での比較が容易な、より規律ある再現可能なプロセスを提供します。医療記録、法務ワークフロー、インシデント対応といった実世界のシステムにおいて、このレベルの厳密さは不可欠です。図1はエンドツーエンドのワークフローを示しています。 ![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2026/04/AutoAdapt_overview_fig1_1400px.png)図1. AutoAdaptのワークフロー。ユーザー入力が計画とリファインメントを経て、デプロイ可能なモデルを生成するまでの流れを示しています。 評価 実験において、AutoAdaptは一貫して効果的な適応戦略を特定し、推論、質問応答、コーディング、分類、クラウドインシデント診断などを含む一連のベンチマークおよび実務タスクで改善をもたらします。制約を考慮した計画と予算付きリファインメント（budgeted refinement）を用いて、追加される時間とコストを最小限に抑えながらより高性能な構成を見つけ出し、プロダクションチームにとって実用的なプロセスを実現します。図2と図3は、競合するベースラインに対する総合的なパフォーマンスを示しています。 ![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2026/04/AutoAdapt_results_fig3_1400px.png)Figure 2. AutoAdaptをベースライン手法（baseline methods）と比較したデータセット全体での成功率（SR）、正規化パフォーマンススコア（NPS）、累積スコア（CS）。スコアが高いほど性能が優れており、AutoAdaptは最先端のベースライン手法（state-of-the-art baselines）を上回る結果を示している。 ![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2026/04/AutoAdapt_cost_time_overhead_fig2_1400px.png)Figure 3. AutoAdaptは最小限のオーバヘッド（overhead）で性能向上を実現しており、追加時間は約30分、追加コストは4ドル程度である。 示唆と今後の展望 AutoAdaptのより広い意義は、ドメイン適応（domain adaptation）がアドホックなプロセスではなく、工学的な分野となり得る点にある。何を適応し、どのように適応し、システムが満たすべき制約は何かといった重要な選択を明示化することで、AutoAdaptはチームがより迅速に結果を得て、それらを容易に再現し、厳密に監査できるように支援する。この転換は、事前学習済み知識からのドリフト（drift）が一般的であり、失敗のコストが高い分野において特に重要である。LLMが臨床メモの起草、サポートインシデントのトリアージ、規制文書の要約に使用される場合、組織にはレイテンシ（latency）、プライバシー、予算の要件の下で予測可能な挙動を示すモデルへデータから至る明確で反復可能な道筋が必要となる。 ドメイン適応（domain adaptation）は現実の環境におけるLLMの展開に不可欠な前提条件であるため、AutoAdaptフレームワークをオープンソース（open source）として公開し、チームに具体的な出発点を提供する。READMEファイルには、インストールおよびクイックスタートの手順が記載されている。 動画の再生にはクッキー同意が必要です 新しいタブで開くAutoAdapt: Automated domain adaptation for large language modelsの記事はMicrosoft Researchに最初に表示されました。

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト