LLMのレイテンシ最適化

model_id = "meta-llama/Llama-2-7b-hf" tokenizer = AutoTokenizer.from_pretrained(model_id) nf4_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16 ) model_nf4 = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=nf4_config) TGIとは異なり、ここではbitsandbytesを正常に動作させることができました。しかし、TGIと同様に、推論レイテンシの観点では目立った高速化は見られませんでした。ベンチマーク表に示されている通り、最適化を施さないTransformersとほぼ同等の結果でした。 また比較のため、推論サーバーを使用せずにAutoGPTQを用いてモデルを量子化しました。コードはこちらです。 結果は非常に悪く（約5トークン/秒）、表には掲載しませんでした。これは私の環境では明らかに異常な値だったためです。 Text Generation WebUI Amanから、text-generation-webuiについて、およびExLlamaとggmlを素早く試すための手順を教えてもらいました。私はggmlを動作させることはできませんでした。 text-generation-webuiリポジトリのルートディレクトリで、ExLlamaで最適化された推論サーバーを起動するには、以下のコマンドを実行します。 python3 download-model.py TheBloke/Llama-2-7B-GPTQ python3 server.py --listen --extensions openai --loader exllama_hf --model TheBloke_Llama-2-7B-GPTQ サーバー起動後、このコードを使用してベンチマークを実施しました。 全体的に、この特定のソフトウェアはあまり好みではありませんでした。一度に多くの機能（推論サーバー、Web UI、その他の最適化）を提供しようとしているため、やや肥大化している印象です。ただし、ドキュメントはよく整っており、使いやすい点は評価できます。 Webユーザーインターフェースを備えたエンドツーエンドのソリューションを求めている場合（多くの人がそうでしょう！）を除けば、これを使用する特別な理由はないと思います。 vLLMはCUDA 11.8でのみ動作します。私はこの方法でCUDAをセットアップしました。CUDAのセットアップと適切なバージョンのPyTorchのインストールが完了したら、gitリポジトリから最新版をインストールする必要があります。 pip install -U git+https://github.com/vllm-project/vllm.git vLLMを使用するための優れた手順は、これらのModalドキュメントで見つけることができます。驚くべきことに、ローカルのA6000で実行した際には、はるかに低いレイテンシを達成しました。 from vllm import SamplingParams, LLM # 以下は https://modal.com/docs/guide/ex/vllm_inference より questions = [ # コーディング関連の質問 "フィボナッチ数を計算するPython関数を実装してください。", "二進指数計算を行うRust関数を書いてください。", "JavascriptとPythonの違いは何ですか？", # 文学関連 "2083年にロボットを見るためにオーストラリアのアウトバックへ旅行する話を、ジェイムズ・ジョイスのスタイルで書いてください。", "ハリーは誰を風船に変えますか？", "人類史上最も重要な出来事を目撃しようと決意した時間旅行歴史学者についての物語を書いてください。", # 数学関連 "9と8の積は何ですか？", "電車が2時間で120キロメートル移動する場合、その平均速度は？", "段階的に考えてください。数列a_nがa_1 = 3、a_2 = 5、n > 2に対してa_n = a_(n-1) + a_(n-2)で定義されている場合、a_6を求めてください。", ] MODEL_DIR = "/home/ubuntu/hamel-drive/vllm-models" def download_model_to_folder(): from huggingface_hub import snapshot_download import os snapshot_download( "meta-llama/Llama-2-7b-hf", local_dir=MODEL_DIR, token=os.environ["HUGGING_FACE_HUB_TOKEN"], ) return LLM(MODEL_DIR) def generate(question, llm, note=None): response = {'question': question, 'note': note} sampling_params = SamplingParams( temperature=1.0, top_p=1, max_tokens=200, ) start = time.perf_counter() result = llm.generate(question, sampling_params) request_time = time.perf_counter() - start for output in result: response['tok_count'] = len(output.outputs[0].token_ids) response['time'] = request_time response['answer'] = output.outputs[0].text return response if __name__ == '__main__': llm = download_model_to_folder() counter = 1 responses = [] for q in questions: response = generate(question=q, llm=llm, note='vLLM') if counter >= 2: responses.append(response) counter += 1 df = pd.DataFrame(responses) df.to_csv('bench-vllm.csv', index=False) HuggingFace Inference Endpoint HuggingFace上で、Nvidia A10Gを搭載したmeta-llama/Llama-2-7b-hfの推論エンドポイントをデプロイしました。 これらのインターフェースに関するドキュメントはこちらで確認できます。Pythonクライアントも提供されています。 彼らのドキュメントによれば、内部ではTGI（Text Generation Inference）が使用されています。しかし、彼らのホスト型推論プラットフォームで計測したレイテンシは、私がローカルで実行したTGIよりも大幅に高速でした。これは、私がA10Gインスタンスを使用したためかもしれません。 このベンチマークのコードはこちらで確認できます。 推論ベンチマークを実施する際には、推論性能とスループットの限界を探ることが一般的です。私はレイテンシに最も関心があったため、この探求は行いませんでした。スループットとレイテンシの両方を考慮した推論ベンチマークの実施例はこちらで確認できます。↩︎ Llama v2モデルを使用する場合は、-hfで終わるモデルを使用するように注意してください。 Modular Inference Engine（モジュラー推論エンジン）は、最適化技術も適用する推論サーバーの別の例です。これを書いている時点では独自技術ですが、今後注目に値する可能性があります。↩︎

LLMのレイテンシ最適化

背景や根拠まで確認しますか？

調べる

選ぶ

サイト