vLLMと大規模モデル

このノートの以前のバージョンでは、単一のA100でLlama 70bを実行できると示唆していました。これは誤りでした。Modalコンテナが、はるかに小さい7bモデルのダウンロードをキャッシュしていたためです。この誤りを反映するように投稿を更新しました。誤りを発見してくれたCade Daniel氏に感謝します。 Llama-2-70bのような大規模モデルは、単一のGPUに収まらない場合があります。私は以前、より小さい7bモデルを様々な推論ツールでプロファイリングしました。モデルが単一のGPUに収まりきらない場合、モデルを複数のGPUに分割する様々な技術を使用できます。 計算と再現性 サーバーレスコンピューティングにModal Labsを使用しました。Modalは非常に経済的で、機械学習ユースケース向けに構築されています。他のクラウドとは異なり、豊富なA100が利用可能です。30ドルの無料クレジットも提供されており、このノートの実験を実行するには十分以上です。Modalのおかげで、このノートで参照するスクリプトは再現可能です。 このノートでは、modalクライアントを使用しています。 vLLMによる分散推論 tensor_parallel_size Llama v2 13b用のModalコード例を以下のように修正しました。 ```python def download_model_to_folder(): from huggingface_hub import snapshot_download snapshot_download( - "meta-llama/Llama-2-13b-chat-hf", + "meta-llama/Llama-2-70b-chat-hf", local_dir="/model", token=os.environ["HUGGINGFACE_TOKEN"], ) image = ( Image.from_dockerhub("nvcr.io/nvidia/pytorch:22.12-py3") .pip_install("torch==2.0.1", index_url="https://download.pytorch.org/whl/cu118") + # vLLMを2023年8月2日時点のバージョンに固定 + .pip_install("vllm @ git+https://github.com/vllm-project/vllm.git@79af7e96a0e2fc9f340d1939192122c3ae38ff17") - # vLLMを2023年7月19日時点のバージョンに固定 - .pip_install("vllm @ git+https://github.com/vllm-project/vllm.git@bda41c70ddb124134935a90a0d51304d2ac035e8") # 最大ダウンロード速度のため、最小限のhf-transferパッケージを使用。プログレスバーはありませんが、700MB/sを期待できます。 - .pip_install("hf-transfer~=0.1") + # キャッシュを無効化するために強制的にリビルド（初回以降は`force_build=True`を削除可能） + .pip_install("hf-transfer~=0.1", force_build=True) .run_function( download_model_to_folder, secret=Secret.from_name("huggingface"), timeout=60 * 20) ) ... -@stub.cls(gpu="A100", secret=Secret.from_name("huggingface")) +# 40GBバージョンのA100が最低4台必要 +@stub.cls(gpu=gpu.A100(count=4, memory=40), secret=Secret.from_name("huggingface")) class Model: def __enter__(self): from vllm import LLM # モデルをロード。ヒント：MPTモデルは`trust_remote_code=true`が必要な場合があります。 - self.llm = LLM(MODEL_DIR) + self.llm = LLM(MODEL_DIR, tensor_parallel_size=4) ``` 使用した実際のスクリプトは、big-inference-vllm.pyを参照してください。 上記のコードを実行してモデル名を変更した場合、キャッシュを無効化するためにイメージの強制リビルドが必要であることがわかりました。そうしないと、古いバージョンのモデルが使用されてしまいます。`force_build=True`を追加することで強制リビルドできます。 このノートを最初に書いたとき、私は`meta-llama/Llama-2-70b-chat-hf`をロードできると誤って信じ込んでいました。 HuggingFaceとWeights & Biasesの適切なシークレットを設定した後、以下のコマンドでModal上でこのコードを実行できます： ``` modal run big-inference-vllm.py ``` Llama v2 70bを実行するには、少なくとも4台のA100 GPUが必要です。 より小さいモデルではどうなるか？ 分散推論は単一のGPUに収まらない大規模モデルにとって興味深いものですが、より小さいモデルをこの方法で実行する場合も興味深い結果が得られます。以下では、Llama v2 7bのスループットをテストします。 `llm.generate`を呼び出す 以下は結果で、各行について5回の実行を平均したものです： すべての個別の実行は[ここ](リンク)で確認できます。私の実験では、70bモデルを実行するには最低4台のA100が必要だったため、そのモデルについては1行しかありません（Modalには1台、2台、または4台のGPUを持つインスタンスしかないため）。 ここで示すtok/secの数値は、このノートで示したレイテンシベンチマークとは大きく異なります。この特定のベンチマークは、複数のリクエストを並行して実行することでスループットを最大化しています。以前のレイテンシベンチマークは、単一のリクエストを処理するのにかかる時間を測定したものです。 A100はA10よりもはるかに高速ですが、A10は大幅に安価です¹。 A10では、GPU数を増やすと最初はスループットが向上しますが、その後は頭打ちになるようです。スループットを最大化する適切なGPU数には、ちょうど良い領域があるように見えます。Modalには特定のGPU数を持つインスタンスしかないため、これについては詳細に調査しませんでした²。 はるかに大きなLlama v2 70b 余談：パイプライン並列処理 理論的には、パイプライン並列処理（"PP"）はテンソル並列処理よりも遅いですが、PPに対応したツールはHuggingFace Hubのより広範なモデルと互換性があります。デフォルトでは、HuggingFaceの`accelerate`は、`device_map="auto"`を指定するとモデルを複数のGPUに自動的に分割します。 このブログ投稿とこれらのドキュメントは、優れた出発点となります。今後、この種の並列処理や他の種類の並列処理について探求していく予定です。 --- ¹ 2023年8月6日現在、2台のA10のコストは.000612ドル/秒です。 ² A10とA100では、最大4台のGPUしか利用できません。さらに、vLLMとLlama 70bでは、奇数台のGPUをうまく扱えない問題に遭遇しました。↩︎

vLLMと大規模モデル

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト