Sakana AI公式発表·2026年2月27日 00:00·約3分

Doc-to-LoRAとText-to-LoRAによる即時LLM更新

#LLM #LoRA #Hypernetwork #Model Customization #Sakana AI

整理・翻訳:ainew.jp 編集システムAIによる自動処理作り方と限界

本文の状態

日本語全文を表示中

詳細モードで約3分の本文を読めます。

同じ出来事の情報源

この情報源を基点に整理

Sakana AI

まず要点

SakanaAIが、文書やテキストからLoRAアダプターを動的に生成するHypernetworkを訓練し、LLMのカスタマイズを高速化・容易化する研究「Doc-to-LoRA」と「Text-to-LoRA」を発表した。

Source Article

元記事を日本語で読む

本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。

私たちは、LLMのカスタマイズをより高速かつ容易にする方法を探る2つの関連研究、Doc-to-LoRAとText-to-LoRAをご紹介します。

インタラクティブウェブサイト: https://pub.sakana.ai/doc-to-lora/

Doc-to-LoRA

論文: https://arxiv.org/abs/2602.15902

コード: https://github.com/SakanaAI/Doc-to-LoRA

Text-to-LoRA

論文: https://arxiv.org/abs/2506.06105

コード: https://github.com/SakanaAI/Text-to-LoRA

概要

ハイパーネットワークを訓練してLoRAアダプタをオンザフライで生成するこれらの手法により、モデルは新しい情報を瞬時に内在化したり、新しいタスクに適応したりできるようになります。

生物学的システムは、本質的に2つの重要な認知能力に依存しています。それは、事実を保存するための永続的な長期記憶と、限られた感覚的手がかりから新しいタスクを処理するための迅速な適応です。現代のLLMは非常に高い能力を持っていますが、このような柔軟性はいまだに欠けています。従来、長期記憶を追加したり、LLMを特定の下流タスクに適応させたりするには、ファインチューニングやコンテキスト蒸留といったコストと時間を要するモデル更新が必要か、あるいはメモリを大量に消費する長いプロンプトに依存する必要がありました。

こうした制限を回避するため、私たちの研究はコスト償却の概念に焦点を当てています。タスクや文書に特化したLoRAをオンデマンドで生成できるハイパーネットワークを訓練するためのメタ訓練コストを一度だけ支払うのです。これにより、従来は重厚なエンジニアリングパイプラインが必要だった処理が、単一の低コストなフォワードパスに変わります。ハイパーネットワークは、タスクごとの最適化を行う代わりに、新しいタスク記述や長文書が与えられた際にLLMを瞬時に修正するための更新ルールをメタ学習します。

私たちの実験では、Text-to-LoRAは自然言語による記述だけで、モデルを未見のタスクに特化させることに成功しました。これを発展させたDoc-to-LoRAは、事実を含む文書を内在化することができます。干し草の中の針探しタスクにおいて、Doc-to-LoRAはベースモデルのコンテキストウィンドウの5倍の長さのインスタンスに対し、ほぼ完璧な精度を達成しました。さらに、視覚言語モデルから視覚情報をテキストのみのLLMへ転送して一般化することも可能で、内在化された重みのみを通じて画像を分類できるようにしました。

重要な点として、両手法ともサブ秒レベルの遅延で実行されるため、従来のモデル更新に伴うオーバーヘッドを回避しつつ、迅速な実験が可能です。このアプローチは、モデルカスタマイズの技術的障壁を下げる一歩であり、エンドユーザーが単純なテキスト入力を通じて基盤モデルを特化させられるようにします。私たちは、コミュニティの検討に供するため、コードと論文を公開しました。

Sakana AI

私たちと一緒に働きませんか？

詳細は、採用情報をご覧ください。

原文を表示

We’re excited to introduce Doc-to-LoRA and Text-to-LoRA, two related research exploring how to make LLM customization faster and more accessible.

Interactive Website: https://pub.sakana.ai/doc-to-lora/

Doc-to-LoRA

Paper: https://arxiv.org/abs/2602.15902

Code: https://github.com/SakanaAI/Doc-to-LoRA

Text-to-LoRA

Paper: https://arxiv.org/abs/2506.06105

Code: https://github.com/SakanaAI/Text-to-LoRA

Summary

By training a Hypernetwork to generate LoRA adapters on the fly, these methods allow models to instantly internalize new information or adapt to new tasks.

Biological systems naturally rely on two key cognitive abilities: durable long-term memory to store facts, and rapid adaptation to handle new tasks given limited sensory cues. While modern LLMs are highly capable, they still lack this flexibility. Traditionally, adding long-term memory or adapting an LLM to a specific downstream task requires an expensive and time-consuming model update, such as fine-tuning or context distillation, or relies on memory-intensive long prompts.

To bypass these limitations, our work focuses on the concept of cost amortization. We pay the meta-training cost once to train a hypernetwork capable of producing tasks or document specific LoRAs on demand. This turns what used to be a heavy engineering pipeline into a single, inexpensive forward pass. Instead of performing per-task optimization, the hypernetwork meta-learns update rules to instantly modify an LLM given a new task description or a long document.

In our experiments, Text-to-LoRA successfully specializes models to unseen tasks using just a natural language description. Building on this, Doc-to-LoRA is able to internalize factual documents. On a needle-in-a-haystack task, Doc-to-LoRA achieves near-perfect accuracy on instances five times longer than the base model’s context window. It can even generalize to transfer visual information from a vision-language model into a text-only LLM, allowing it to classify images purely through internalized weights.

Importantly, both methods run with sub-second latency, enabling rapid experimentation while avoiding the overhead of traditional model updates. This approach is a step towards lowering the technical barriers of model customization, allowing end-users to specialize foundation models via simple text inputs. We have released our code and papers for the community to explore.