Nous Research、Hermes Desktop にワンクリックローカルモデル設定機能を追加

ローカルでオープンウェイトモデルを実行する際、最も難しいのはモデルそのものではありません。重要なのは、VRAM の仕様を確認し、どの量子化が適合するかを推測し、コンテキスト長や GPU レイヤー数を設定した後に、読み込み時にファイルサイズが 3GB も大きすぎると判明するという一連の作業です。

Nous Research は、この複雑な手順を「Hermes Desktop」内でワンクリックで完結させることに成功しました。新しい簡単なセットアップフローは、ユーザーのハードウェアを読み込んで適合するモデルを選択し、重みをダウンロードした上で推論ランタイムの設定まで自動で行います。

実用性はありますか？もちろんあります。Hermes Desktop は MIT ライセンスに基づく無料のオープンソース「Hermes Agent」ビルドであり、macOS 12 以上、Windows 10/11、およびあらゆる Linux ディストリビューションで動作します。ローカルモデル利用にはアカウント登録も不要です。

実際に実装された機能は、非常に具体的で限定的なものです。Hermes Desktop は今や、ワンクリックでローカルモデルのセットアップが可能になりました。ハードウェアを読み込み、最適なモデルを選択し、ダウンロードしてランタイムを設定する一連の流れが、初回起動時に自動的に表示されます。また、後から「設定」→「プロバイダー」→「ローカルモデル」からもアクセス可能です。

裏側では、Hermes 自身が推論エンジンを管理しています。「Local Models」のドキュメントによると、ハードウェアにマッチした公式の llama.cpp ビルド（数百 MB）を取得し、その整合性を検証して常に最新の状態を維持します。対応するバックエンドには CUDA、Metal、Vulkan、HIP、CPU が含まれます。

固定されたリリースタグは、デスクトップ UI が自動で生成する config.yaml の local_runtime ブロック内に記述されています。ヘッドレス環境のユーザーも、必要に応じて手動で設定可能です。

Hermes のモデル価格設定とあなたのマシン

ダウンロードを行う前に、カタログ内のすべてのモデルが特定のマシンの性能に対して評価されます。各行にはメモリの適合性に関する判定が表示され、緑色は GPU メモリ内で完結して動作し、アンバー色はシステム RAM に溢れ出して処理速度が遅くなり、赤色はこのマシンでは大きすぎて実行できないことを示しています。各行には、選択されたビルドの開始時および最大コンテキストウィンドウサイズ、そしてダウンロードサイズも併せて表示されます。

量子化（Quantization）の選定には一つのルールがあります。Hermes は GPU で完全に動作する最高品質のビルドを選択し、メモリが少ないマシンでは同じモデルでもよりコンパクトなビルドを提供します。4-bit が下限であり、それ以下になると Nous は品質低下が甚大すぎると判断するため、4-bit ビルドをシステム RAM に溢れさせずに実行できないマシンは、そのモデルを実行できません。適合しないモデルも理由と共に表示されるため、VRAM を増やすことで何が得られるかを明確に確認できます。

これを支えるメモリのルール

ローカル推論（Local Inference）はメモリ配置の成否にかかっており、Hermes にはそれを調整する設定項目はありません。モデルは GPU に完全に収まるコンテキストウィンドウから開始し、会話の進行に応じてネイティブの最大値へと拡張していきます。推奨されるすべてのモデルには、最低でも 64K のウィンドウが保証されています。

オフロード順序の設計が特に興味深い点です。モデルが GPU メモリを超えた場合、Hermes はシステム RAM にオーバーフローを「最もダメージが少ない順」に配置します。具体的には、まずエキスパート重みを優先し、アテンションキャッシュは決してオフロードしません。これはスループットを犠牲にしてでも、コンテキストの保証を守るためのトレードオフです。

会話圧縮が有効になるのは、モデルが最大ウィンドウに達した時だけです。つまり、成長（新しい情報の追加）が要約よりも優先されます。アイドル状態になったモデルは 15 分後にアンロードされ、次のメッセージ受信時に再読み込みされます。

要点

ワンクリックセットアップでは、ハードウェアを自動認識して最適なモデルを選択し、ダウンロードからランタイムの接続までを一括で行います。

Hermes はバンドルされた llama.cpp ビルドを管理しており、コンテキストサイズや GPU レイヤー数、量子化設定などはユーザーが直接触れることはありません。

カタログ内のすべてのモデルは、ダウンロード前にお使いのマシンとの適合性をチェックします。結果は「緑（推奨）」「琥珀（注意）」「赤（非推奨）」のいずれかで表示されます。

推奨されるモデルには、順序付き RAM オフロードによって保護された 64K 以上のコンテキストウィンドウが保証されています。

詳細は Local Models のドキュメント、GitHub リポジトリ、デスクトップ版ダウンロードページをご覧ください。また、Twitter でフォローしていただくと幸いです。さらに、150,000 人以上の ML 関連ユーザーが集まる SubReddit に参加したり、ニュースレターを購読したりすることもおすすめです。

Telegram をご利用の方も、今ならこちらからご参加いただけます。

GitHub リポジトリや Hugging Face ページ、製品リリース、ウェビナーなどのプロモーションをご検討の場合は、ぜひパートナーシップについてお問い合わせください。

本記事は MarkTechPost にて公開された「Nous Research Adds One-click Local Model Setup to Hermes Desktop」の翻訳です。