Doc-to-LoRAとText-to-LoRAによる即時LLM更新
Sakana AIは、ハイパーネットワークを用いてLoRAアダプタをオンデマンドで生成する「Doc-to-LoRA」と「Text-to-LoRA」を発表し、従来のファインチューニングに代わりサブ秒レベルの高速なLLMカスタマイズを実現した。
キーポイント
ハイパーネットワークによる即時カスタマイズ
メタ学習されたハイパーネットワークが、テキストの説明や文書からLoRAアダプタを即時生成し、モデルの更新コストを固定化する。
Doc-to-LoRAとText-to-LoRAの二つの手法
自然言語の説明からタスク特化モデルを生成するText-to-LoRAと、長文ドキュメントの事実を内部化するDoc-to-LoRAを提供する。
既存の制約を超える性能と速度
コンテキストウィンドウを5倍超える文書の正確な情報抽出（Needle-in-a-haystack）や、ビジョンモデルからの知識転送を実現し、サブ秒のレイテンシで動作する。
影響分析・編集コメントを表示
影響分析
この技術は、LLMのパーソナライズ化とドメイン特化におけるボトルネックである「計算コスト」と「時間」を劇的に削減する。特に、大規模な再学習を行わずに新しい事実やタスクを即座に取り込めるため、企業内のナレッジマネジメントやカスタマーサポートなどの現場適用において、従来のパイプラインを置き換える可能性を秘めている。
編集コメント
モデルの「学習」プロセスを「推論」フェーズに統合するこのアプローチは、LLMの適用範囲を大幅に広げる画期的な進展である。ただし、生成されたLoRAの安定性や大規模データセットでの汎化性能については、今後の実証結果に注目したい。
私たちは、LLMのカスタマイズをより高速かつ容易にする方法を探る2つの関連研究、Doc-to-LoRAとText-to-LoRAをご紹介します。
インタラクティブウェブサイト: https://pub.sakana.ai/doc-to-lora/
Doc-to-LoRA
論文: https://arxiv.org/abs/2602.15902
コード: https://github.com/SakanaAI/Doc-to-LoRA
Text-to-LoRA
論文: https://arxiv.org/abs/2506.06105
コード: https://github.com/SakanaAI/Text-to-LoRA
概要
ハイパーネットワークを訓練してLoRAアダプタをオンザフライで生成するこれらの手法により、モデルは新しい情報を瞬時に内在化したり、新しいタスクに適応したりできるようになります。
生物学的システムは、本質的に2つの重要な認知能力に依存しています。それは、事実を保存するための永続的な長期記憶と、限られた感覚的手がかりから新しいタスクを処理するための迅速な適応です。現代のLLMは非常に高い能力を持っていますが、このような柔軟性はいまだに欠けています。従来、長期記憶を追加したり、LLMを特定の下流タスクに適応させたりするには、ファインチューニングやコンテキスト蒸留といったコストと時間を要するモデル更新が必要か、あるいはメモリを大量に消費する長いプロンプトに依存する必要がありました。
こうした制限を回避するため、私たちの研究はコスト償却の概念に焦点を当てています。タスクや文書に特化したLoRAをオンデマンドで生成できるハイパーネットワークを訓練するためのメタ訓練コストを一度だけ支払うのです。これにより、従来は重厚なエンジニアリングパイプラインが必要だった処理が、単一の低コストなフォワードパスに変わります。ハイパーネットワークは、タスクごとの最適化を行う代わりに、新しいタスク記述や長文書が与えられた際にLLMを瞬時に修正するための更新ルールをメタ学習します。
私たちの実験では、Text-to-LoRAは自然言語による記述だけで、モデルを未見のタスクに特化させることに成功しました。これを発展させたDoc-to-LoRAは、事実を含む文書を内在化することができます。干し草の中の針探しタスクにおいて、Doc-to-LoRAはベースモデルのコンテキストウィンドウの5倍の長さのインスタンスに対し、ほぼ完璧な精度を達成しました。さらに、視覚言語モデルから視覚情報をテキストのみのLLMへ転送して一般化することも可能で、内在化された重みのみを通じて画像を分類できるようにしました。
重要な点として、両手法ともサブ秒レベルの遅延で実行されるため、従来のモデル更新に伴うオーバーヘッドを回避しつつ、迅速な実験が可能です。このアプローチは、モデルカスタマイズの技術的障壁を下げる一歩であり、エンドユーザーが単純なテキスト入力を通じて基盤モデルを特化させられるようにします。私たちは、コミュニティの検討に供するため、コードと論文を公開しました。
Sakana AI
私たちと一緒に働きませんか？
詳細は、採用情報をご覧ください。
原文を表示
We’re excited to introduce Doc-to-LoRA and Text-to-LoRA, two related research exploring how to make LLM customization faster and more accessible.
Interactive Website: https://pub.sakana.ai/doc-to-lora/
Doc-to-LoRA
Paper: https://arxiv.org/abs/2602.15902
Code: https://github.com/SakanaAI/Doc-to-LoRA
Text-to-LoRA
Paper: https://arxiv.org/abs/2506.06105
Code: https://github.com/SakanaAI/Text-to-LoRA
Summary
By training a Hypernetwork to generate LoRA adapters on the fly, these methods allow models to instantly internalize new information or adapt to new tasks.
Biological systems naturally rely on two key cognitive abilities: durable long-term memory to store facts, and rapid adaptation to handle new tasks given limited sensory cues. While modern LLMs are highly capable, they still lack this flexibility. Traditionally, adding long-term memory or adapting an LLM to a specific downstream task requires an expensive and time-consuming model update, such as fine-tuning or context distillation, or relies on memory-intensive long prompts.
To bypass these limitations, our work focuses on the concept of cost amortization. We pay the meta-training cost once to train a hypernetwork capable of producing tasks or document specific LoRAs on demand. This turns what used to be a heavy engineering pipeline into a single, inexpensive forward pass. Instead of performing per-task optimization, the hypernetwork meta-learns update rules to instantly modify an LLM given a new task description or a long document.
In our experiments, Text-to-LoRA successfully specializes models to unseen tasks using just a natural language description. Building on this, Doc-to-LoRA is able to internalize factual documents. On a needle-in-a-haystack task, Doc-to-LoRA achieves near-perfect accuracy on instances five times longer than the base model’s context window. It can even generalize to transfer visual information from a vision-language model into a text-only LLM, allowing it to classify images purely through internalized weights.
Importantly, both methods run with sub-second latency, enabling rapid experimentation while avoiding the overhead of traditional model updates. This approach is a step towards lowering the technical barriers of model customization, allowing end-users to specialize foundation models via simple text inputs. We have released our code and papers for the community to explore.
Sakana AI
Interested in joining us?
Please see our career opportunities for more information.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み