新手法によりLLM学習効率が向上

Press Inquiries Press Contact: MITニュースオフィスウェブサイトでダウンロード可能な画像は、非営利団体、報道機関、一般向けにクリエイティブ・コモンズ表示-非営利-改変禁止ライセンスの下で提供されています。提供された画像は、サイズにトリミングすること以外、改変することはできません。画像を複製する際はクレジット表記が必要です。以下に表記がない場合は、"MIT"とクレジットしてください。 Close ![](/sites/default/files/styles/news_article__image_gallery/public/images/202602/MIT-LongTail-01-press_0.jpg?itok=LN643h5a) キャプション: 大規模言語モデルの学習効率を向上させる新手法: アイドル状態の計算時間を活用することで、精度を維持しながらモデル学習の速度を2倍にできる。 クレジット: 画像: MIT News; iStock ![](/sites/default/files/styles/news_article__image_gallery/public/images/202602/MIT-LongTail-02-press.jpg?itok=ksmcGDsq) キャプション: 「推論が推論需要を駆動する主要なワークロードであり続ける中、[胡]慶昊のTLTは、これらの推論モデルを学習する際の計算ボトルネックに対処する素晴らしい研究です。この手法は効率的なAIコンピューティングの文脈において非常に役立つと思います」と、ソン・ハンは述べている。 クレジット: 画像: Adam Glanzman Previous image Next image 推論型大規模言語モデル（LLM）は、複雑な問題をより小さなステップの連続に分解して解決するように設計されている。これらの強力なモデルは、高度なプログラミングや多段階の計画立案といった困難なタスクに特に優れている。 しかし、推論モデルの開発には、学習プロセスにおける非効率性のため、膨大な計算量とエネルギーが要求される。少数の高性能プロセッサが複雑なクエリを処理し続けている間、グループ内の他のプロセッサはアイドル状態のままなのである。 MITなどの研究者らは、この計算上のダウンタイムを利用して推論モデルの学習を効率的に加速する方法を発見した。 彼らの新手法は、より小さく高速なモデルを自動的に学習させ、より大きな推論LLMの出力を予測させ、それを大きなモデルが検証するというものだ。これにより推論モデルが行わなければならない作業量が減り、学習プロセスが加速する。 このシステムの鍵は、一部のプロセッサがアイドル状態のときにのみ起動するように、小さなモデルを適応的に学習・展開できる能力にある。本来なら無駄になっていたであろう計算リソースを活用することで、追加のオーバーヘッドを発生させることなく学習を加速する。 複数の推論LLMでテストしたところ、この手法は精度を維持しながら学習速度を2倍にした。これは、金融トレンドの予測や電力グリッドのリスク検出などのアプリケーション向けに高度なLLMを開発する際のコスト削減とエネルギー効率向上につながる可能性がある。 「人々はより複雑なタスクを処理できるモデルを求めています。しかし、それがモデル開発の目標であるなら、効率性を優先する必要があります。私たちはこの問題に対するロスレスな解決策を見つけ、実際に非常に劇的な高速化をもたらすことができるフルスタックシステムを開発しました」と、この技術に関する論文の共筆頭著者であるMITのポスドク研究員、胡慶昊は述べている。 論文の共著者には、筆頭共著者で電気工学・計算機科学（EECS）大学院生のShang Yang氏、EECS大学院生のJunxian Guo氏、上席著者でEECS准教授、Research Laboratory of Electronicsメンバー、NVIDIA Distinguished Scientistのソン・ハン氏のほか、NVIDIA、ETH Zurich、MIT-IBM Watson AI Lab、マサチューセッツ大学アマースト校の研究者らが名を連ねている。この研究は、ACM International Conference on Architectural Support for Programming Languages and Operating Systemsで発表される予定である。 学習のボトルネック 開発者は、推論LLMが自身の批判的思考プロセスにおける誤りを特定し修正できるようにしたいと考えている。この能力により、標準的なLLMではつまずいてしまうような複雑なクエリにも正確に答えられるようになる。 このスキルを教えるために、開発者は強化学習（RL）と呼ばれる技術を用いて推論LLMを学習させる。モデルはクエリに対して複数の可能性のある回答を生成し、最良の候補に対して報酬を受け取り、トップの回答に基づいて更新される。モデルが学習するにつれ、これらのステップが何千回も繰り返される。 しかし研究者らは、ロールアウトと呼ばれる複数の回答を生成するプロセスが、RL学習に必要な実行時間の最大85％を消費する可能性があることを発見した。 「モデルの更新 ― これが実際の『学習』部分です ― は比較してごくわずかな時間しか消費しません」と胡氏は言う。 このボトルネックは、標準的なRLアルゴリズムでは、学習グループ内のすべてのプロセッサが次のステップに進む前に、それぞれの応答を終了しなければならないために発生する。非常に長い応答を処理しているプロセッサがあると、より短い応答を生成した他のプロセッサは、それらが終了するのを待たなければならない。 「私たちの目標は、このアイドル時間を、無駄なコストを一切発生させることなく高速化に変えることでした」と胡氏は付け加える。 彼らは、既存の技術である投機的デコードを用いて処理を高速化しようと考えた。投機的デコードでは、ドラフターと呼ばれるより小さなモデルを学習させ、より大きなモデルの将来の出力を迅速に推測させる。 大きなモデルはドラフターの推測を検証し、受け入れた応答が学習に使用される。 大きなモデルは各出力を順番に生成するのではなく、ドラフターのすべての推測を一度に検証できるため、プロセスが加速する。 適応型ソリューション しかし、投機的デコードでは、ドラフターモデルは通常一度だけ学習され、静的（変化しない）のままである。これにより、推論モデルが学習中に何千回も更新される強化学習には、この技術が実用的ではなくなる。 静的なドラフターは、数ステップ後にはすぐに陳腐化し役に立たなくなるだろう。 この問題を克服するために、研究者らは「Taming the Long Tail」（TLT）と呼ばれる柔軟なシステムを作り出した。 TLTの最初の部分は適応型ドラフタートレーナーであり、アイドル状態のプロセッサの空き時間を利用して、ドラフターモデルをその場で学習させ、追加の計算リソースを使うことなく対象モデルとよく整合する状態に保つ。 第二の構成要素である適応型ロールアウトエンジンは、投機的デコードを管理し、新たな入力のバッチごとに最適な戦略を自動的に選択する。このメカニズムは、ドラフトモデルによって処理される入力の数や検証中に対象モデルによって受け入れられる入力の数など、学習ワークロードの特徴に基づいて投機的デコードの構成を変更する。 さらに、研究者らはドラフトモデルを軽量に設計し、迅速に学習できるようにした。TLTは推論モデルの学習プロセスの一部のコンポーネントを再利用してドラフターを学習させるため、加速にさらなる効果をもたらす。 「一部のプロセッサが短いクエリを終了してアイドル状態になるとすぐに、私たちはそれらを、ロールアウトプロセスで使用しているのと同じデータを使ってドラフトモデルの学習に切り替えます。重要なメカニズムは私たちの適応型投機的デコードです。これがなければこれらの効果は得られません」と胡氏は言う。 彼らはTLTを、実世界のデータセットを用いて学習された複数の推論LLMでテストした。このシステムは各モデルの精度を維持しながら、学習を70％から210％加速した。 追加の利点として、小さなドラフターモデルは、無料の副産物として効率的なデプロイに容易に利用できる。 将来、研究者らはTLTをより多くの種類の学習および推論フレームワークに統合し、このアプローチを用いて加速できる新しい強化学習の応用例を見つけたいと考えている。 「推論が推論需要を駆動する主要なワークロードであり続ける中、慶昊のTLTは、これらの推論モデルを学習する際の計算ボトルネックに対処する素晴らしい研究です。この手法は効率的なAIコンピューティングの文脈において非常に役立つと思います」とハン氏は述べている。 この研究は、MIT-IBM Watson AI Lab、MIT AI Hardware Program、MIT Amazon Science Hub、Hyundai Motor Company、米国国立科学財団の資金提供を受けている。 Share this news article on: 論文: "Taming the Long-Tail: Efficient Reasoning RL Training with Adaptive Drafter" Related Links Research Laborat

新手法によりLLM学習効率が向上

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト