Holotron-12B - 高スループットコンピュータ使用エージェント

記事に戻る Holotron-12B - 高スループット・コンピュータ利用エージェント アップボート 4 ![](/avatars/1d648994fe5f3ba3a99ec8f1fe409056.svg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/68af0743185daab16434e152/3JIwr-47ulQ-swvPvmLHl.jpeg) ![](https://cdn-uploads.huggingface.co/production/uploads/682c3e22650f6bbe33bb9d94/YhjJn9fv7v_sEAwwQMlMf.png) H社のマルチモーダル・コンピュータ利用モデル「Holotron-12B」のリリースをお知らせできることを大変嬉しく思います。オープンなNVIDIA Nemotron-Nano-2 VLモデルを、H社独自のデータミックスでポストトレーニングしたHolotron-12Bは、主に本番環境におけるスケールとパフォーマンスに最適化された新種のモデルを設計するため、当社の研究ラボが緊密に協力した成果です。 H社はNVIDIAインキュベーションプログラムの参加企業です。 このモデルは現在Hugging Faceで利用可能です。 **Holotron-12Bを開発した理由** 現在のほとんどのマルチモーダルモデルは、主に静的な画像理解や指示追従に最適化されています。しかし、当社のHolo2モデルと同様に、Holotron-12Bには異なる目標があります。それは、インタラクティブな環境において効率的に知覚、判断、行動しなければならないコンピュータ利用エージェントのためのポリシーモデルとして機能することです。 Holotron-12Bでは、本番環境で効率的かつ効果的にスケールし、複数の画像を含む長いコンテキストを扱いながら、エージェントベンチマークでも高い性能を発揮できるモデルを構築したいと考えました。NVIDIA Nemotronモデルは推論面で強固な基盤を提供し、Holotron-12Bの開発を通じて、さらなるトレーニングによってモデルの可能性がどれだけ拡大するかを実証しました。 **ハイブリッドSSMアーキテクチャによる高スループット推論** Holotron-12Bの推論効率における大きな飛躍は、ハイブリッド状態空間モデル（SSM）とアテンションメカニズムを採用した基盤となるNemotronアーキテクチャによって実現されています。純粋なトランスフォーマーベースのモデルとは異なり、この設計は高スループットでの運用に最適化されています。状態空間モデルは、フルアテンションメカニズムに伴う二次的な計算コストを回避することで、長いコンテキストの推論に対して優れたスケーラビリティを提供し、特に複数の画像と長いインタラクション履歴を含むエージェントワークロードで効果を発揮します。推論の観点では、SSMの主な利点はメモリフットプリントの劇的な削減です。従来のアテンションはトークンとレイヤーごとにKとVの活性化（いわゆるKVキャッシュ）を保存しますが、SSMは線形リカレントモデルであり、生成されるシーケンスごとにレイヤーあたり一定の状態のみを保存するため、シーケンス長に依存しません。 WebVoyagerベンチマークでの評価では、このモデルは、長いコンテキスト、複数の高解像度画像、100のベンチマークワーカーによる高いリクエスト並列性を特徴とする、実世界のマルチモーダルエージェントワークロードにおいて優れた性能を示しました。単一のH100 GPU上で、最新のSSM最適化（v0.14.1）を施したvLLMを使用して実行した場合、Holotron-12BはHolo2-8Bと比較して2倍以上のスループットを達成しました。これにより、Holotron-12Bはデータ生成、アノテーション、オンライン強化学習などのスループットが重要なワークロードにおいて、魅力的な選択肢となります。 制御された実験環境（図2参照）では、Holotron-12Bは並列性が増加しても効率的にスケールし続け、総トークンスループットは最大並列数100において8.9kトークン/秒まで着実に上昇しました。対照的に、Holo2-8Bの総トークンスループットは5.1kトークン/秒ではるかに早く頭打ちになります。この挙動は、Nemotronアーキテクチャの重要な強み、すなわちより効果的で効率的なVRAM利用と、より小さな全体的なメモリフットプリントを浮き彫りにしており、同じハードウェア上でより大きな実効バッチサイズを可能にします。大きなバッチサイズでも、Holotron-12Bは高いスループットを維持します。 **Holotron-12Bのトレーニングと評価** Holotron-12Bは2段階でトレーニングされました。NVIDIAが公開したマルチモーダルベースモデル「Nemotron-Nano-12B-v2-VL-BF16」を出発点としました。その後、H社独自のローカライゼーションおよびナビゲーションデータミックスに対して教師ありファインチューニングを実施し、画面理解、グラウンディング、UIレベルのインタラクションに重点を置きました。 最終チェックポイントは約140億トークンでトレーニングされました。 **エージェントベンチマーク** コンピュータ利用およびナビゲーションベンチマークにおいて、Holotron-12BはNemotronベースモデルに対して大幅な改善を示し、確立されたエージェントモデルと比較しても高い性能を発揮します。WebVoyagerのスコアは35.1%から80.5%に向上し、このベンチマークにおけるHolo2-8Bの性能を上回り、エージェントとしての設定下で効果的に機能する能力を示しています。 **ローカライゼーションベンチマーク** Holotron-12Bは、OS-World-G、GroundUI、WebClickなどのローカライゼーションおよびグラウンディングベンチマークにおいても、ベースのNemotronモデルに対して大幅に改善されています。 Holotron-12Bは、適切なトレーニング設定とインフラストラクチャ作業と組み合わせることで、NVIDIA Nemotron VLモデルが実世界のマルチモーダルエージェントにとって強固な基盤を提供することを実証しています。 このモデルは、高いエージェント性能、大幅に改善された推論スループット、そして特に高解像度の視覚トレーニングに関する将来の改善への明確な道筋を提供します。 皆様がHolotron-12Bでどのようなものを構築されるか、楽しみにしております。このモデルとチェックポイントは、NVIDIAオープンモデルライセンスの下、現在Hugging Faceで公開されています。 **次のステップ: Nemotron 3 Omniによるエージェント知能の未来へのスケーリング** NVIDIAは本日、Nemotron 3 Omniのリリースを発表しました。Holotron-12Bの成功を踏まえ、私たちはこの次世代マルチモーダルモデルのポストトレーニングを準備しています。Nemotron 3ファミリーの強化されたハイブリッドSSM-アテンションとMoE（Mixture of Experts）のアーキテクチャ基盤を活用することで、新たに発表されたNemotron 3 Omniを用いて、推論能力とマルチモーダル精度においてさらなる大きな飛躍を実現することを目指しています。この進化により、Holotronは研究の枠を超えて商用アプリケーションへと発展し、大規模な自律的「コンピュータ利用」の展開に必要とされる、高スループットかつ低レイテンシーの性能を企業に提供することになります。 ![](https://cdn-avatars.huggingface.co/v1/production/uploads/677d3f355f847864bb644112/OQyAJ33sssiTDIQEQ7oH_.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/6808a8cf6b8c599b583d0fe9/QPgERtP3Nl2n0BCBlp89D.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/677d3f355f847864bb644112/OQyAJ33sssiTDIQEQ7oH_.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/677d3f355f847864bb644112/OQyAJ33sssiTDIQEQ7oH_.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/677d3f355f847864bb644112/OQyAJ33sssiTDIQEQ7oH_.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/6821b385525882a5706eed20/R8BdCB6qwmlaHgYtwu_hB.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/677d3f355f847864bb644112/OQyAJ33sssiTDIQEQ7oH_.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/677d3f355f847864bb644112/OQyAJ33sssiTDIQEQ7oH_.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/68c435c869d3aa0e590b0361/RZcEZherMz2CeJo5kuWHh.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/677d3f355f847864bb644112/OQyAJ33sssiTDIQEQ7oH_.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/677d3f355f847864bb644112/OQyAJ33sssiTDIQEQ7oH_.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/68c2d2a93ded6e08ec71ef8c/Bt47QzcEL-_3togVvH7y4.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/677d3f355f847864bb644112/OQyAJ33sssiTDIQEQ7oH_.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/677d3f355f847864bb644112/OQyAJ33sssiTDIQEQ7oH_.png) ![](https://cdn-uploads.huggingface.co/production/uploads/682c3e22650f6bbe33bb9d94/Z3rBJujRYMur1nckG3cgK.png) ![](https://cdn-uploads.huggingface.co/production/uploads/682c3e22650f6bbe33bb9d94/1RurjMZjlHFGbSqkxqOSz.png) ![](https://cdn-uploads.huggingface.co/production/uploads/682c3e22650f6bbe33bb9d94/9RaBdNAlGZeKT_unChlkz.png) ![](https://cdn-uploads.huggingface.co/production/uploads/682c3e22650f6bbe33bb9d94/amYviZult5L5XJr6Lgebr.png)

Holotron-12B - 高スループットコンピュータ使用エージェント

背景や根拠まで確認しますか？

調べる

選ぶ

サイト