CyberSecQwen-4B：防衛型サイバーセキュリティには小型・特化型・ローカル実行モデルがなぜ必要か

[記事一覧に戻る](https://huggingface.co/blog) [AMD デベロッパーハッカソン](https://lablab.ai/ai-hackathons/amd-developer/athena19/cybersecqwen-4b-cti-specialist-fine-tuned-on-amd)向けに構築 · 単一の AMD Instinct MI300X でトレーニング済み · Apache 2.0 ライセンス ## なぜこれが重要なのか フロンティアモデルは非常に多くの分野で卓越した能力を発揮します。しかし、それらは呼び出しコストが高く、すべてのプロンプトを他者のデータセンターに送信する必要があり、実際の防御者がインシデント報告書やログ内で発見される攻撃者グレードのペイロード、脆弱性情報開示草案といった「 messy なエッジケース」に対して拒否反応を示すように明示的にトレーニングされています。 防御的なサイバーセキュリティにおいて、これらのトレードオフが許容される場所はありません。 - 機密性の高い証拠は内部に留める必要があります。漏洩した認証情報のダンプをトリアージする SOC アナリスト、マルウェアサンプルを解析するリバースエンジニアリング担当者、CVE の報告書を作成する脆弱性情報研究者 — これらの誰一人として、そのコンテンツをホストされた API に貼り付けるべきではありません。データ自体が侵害の経路となり得ます。 - 1 回ごとの API コストは累積します。中規模の SOC では、毎日数千件の低信頼度のアラートが処理されます。「この CVE を説明して」「ここに適用される CWE は何か」といった問い合わせに対するホスト型 API のコストは、防御自動化を予算の問題へと変えてしまいます。 - 重要インフラ、医療、政府業務においては、エアギャップ（物理的に隔離）された環境や部分的に接続された環境が例外ではなくルールです。もしツールがラップトップや単一のオンプレミス GPU で実行できないなら、そこには導入されません。 - 敵対者はより自動化されています。ランサムウェア組織は LLM を使用して 30 か国語のフィッシングメールを起草し、バグ報奨金プログラムの自動化ツールはアジェンシーツールを連鎖させて、人間がレビューするよりも速くファジング、選別、そしてエクスプロイトを行います。同じ速度で防御するには、防衛側が所有し実行できるモデルが必要です。 つまり、「ローカル」であることは重要ですが、「ローカル」であるだけでは不十分です。 ## なぜ小型の専門モデルなのか、単なる小型モデルではないのか 4 つの GPU でローカルに動作する 70B の汎用モデルは「ローカル」ではありますが、*デプロイ可能*ではありません。1 つのコンシューマー向け GPU でローカルに動作する 4B の汎用モデルはデプロイ可能ですが、実際に必要なタスクにおいては 8B の専門モデルには勝てません。 **CyberSecQwen-4B** の背景にある賭けは、CWE クラス分類、CVE から CWE へのマッピング、構造化された CTI（脅威インテリジェンス）の Q&A など、狭く明確に評価されたサイバー脅威インテリジェンスタスクにおいては、慎重にファインチューニングされた 4B モデルが、12 GB のコンシューマー向けカードに収まりながら、8B の専門モデルと同等かそれ以上の性能を発揮できるという点にあります。 私たちはこれを、入手可能な最も強力なパブリックベースラインである**Cisco の [Foundation-Sec-Instruct-8B](https://huggingface.co/fdtn-ai/Foundation-Sec-8B)**と比較してテストしました。これは、[CTI-Bench](https://github.com/xashru/cti-bench) 上で同社が公開したプロトコルに基づいて評価されたものです。 Metric (CTI-Bench, n=5, temp 0.3) CyberSecQwen-4B Foundation-Sec-Instruct-8B Δ **CTI-MCQ** (2,500 items) **0.5868 ± 0.0029** 0.4996 **+8.7 pp** **CTI-RCM** (1,000 CVE→CWE items) **0.6664 ± 0.0023** 0.6850 −1.9 pp Parameters 4 B 8 B 半分サイズ CyberSecQwen-4B は、Foundation-Sec-Instruct-8B の CTI-RCM 精度の**97.3% を維持しつつ**、CTI-MCQ スコアでは**+8.7 ポイント上回っています**。これはパラメータ数が半分であるにもかかわらず達成された成果です。防御側が何を展開するかを選ぶ際、この数字こそが唯一重要となるべきものです。 ## 5 分間のウォークスルー 以下の 5 分間の動画では、トレーニング手法、AMD MI300X のワークフロー、およびベンチマーク結果をより視覚的な形式で解説しています。もし詳細をすべて読み込みたい場合は、本稿の残りの部分で同じ内容を、正確な設定値とともに記述しています。 ## なぜ AMD MI300X か トレーニングからアダプタのマージ、評価に至るまでの全パイプラインは、AMD Developer Cloud 上の単一の AMD Instinct MI300X 192 GB インスタンス上でエンドツーエンドで実行されます。192 GB の HBM3 と ROCm 7 の vLLM スタックの組み合わせにより、量子化トリックや勾配チェックポイント、あるいはモデルを複数デバイスに分割するといった工夫は一切不要でした。bf16 フル精度、FlashAttention-2 の順伝播・逆伝播、バッチサイズ 4、シーケンス長 4096 — これらすべてが単一の GPU で完結しています。 Component Version Hardware AMD Instinct MI300X 192 GB · gfx942 ROCm 7.0 Docker vllm/vllm-openai-rocm:latest PyTorch 2.6.0 (ROCm) flash-attn 2.8.3 vLLM 0.10.1 transformers / peft / trl トレーニング時の最新バージョン train.sh のレシピはハードウェアに依存しません。他の 40 GB 以上のデータセンター向け GPU で実行するには、AMD 固有の環境変数を削除（他では何もしない処理です）し、適切なホイールから flash-attn を再インストールしてください。互換性をテストするために、異なるスタックで姉妹モデルをトレーニングしました—詳細は後述します。 ## トレーニングデータ リリース用に Apache-2.0 クリーンな 2 つのコーパスがあります： - MITRE / NVD の公開記録から取得した 2021 年版 CVE → CWE マッピング。重要なのは、CTI-Bench の評価セットとの重複部分をトレーニング前にすべて重複排除したことです。そのため、上記のベンチマーク数値は正直な分布外ホールドアウトであり、データ汚染ではありません。 - 重複排除された CVE 記述に基づいた合成型防御アナリスト向け Q&A。より強力な教師モデルで生成され、再配布用に Apache-2.0 ライセンスが付与されています。 ベースモデルは **[Qwen3-4B-Instruct-2507](https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507)** です。これはトレーニング時点で利用可能だった 4B クラスの IT モデルの中で最高性能を記録した、Apache-2.0 ライセンスの指示調整済み 4B モデルです。意図的にベースではなく IT チェックポイントに対してファインチューニングを行いました—これにより、IT パスで既に確立された簡潔な回答形式や多肢選択形式の事前知識が保持され、IT→SFT の順序で崩壊させる場合に失われていたものが守られます。 ここには注目に値する測定可能な効果があります： モデル CTI-RCM CTI-MCQ Qwen3-4B-Instruct-2507 (生 IT) 0.519 0.473 **CyberSecQwen-4B** (本ファインチューン) **0.6664** **0.5868** IT ベースは、基盤となる事前学習済みベースと比較して MCQ（多肢選択問題）の精度を大幅に低下させています。これは Cisco が Foundation-Sec-Instruct と Foundation-Sec の間で報告している「指示微調整が MCQ 性能を崩壊させる」という全く同じパターンです。**私たちのファインチューニングは、両方のベンチマークにおいて IT（指示微調整）開始点を回復し、さらに上回ります**。これにより、IT が侵食したフォーマット結合性が復元されつつ、ドメイン特有の性能向上も達成されています。 ## レシピ LoRA r = 64 LoRA alpha = 64 # alpha/r = 1.0 LoRA dropout = 0.05 LR = 5e-5 # コサインスケジューリング、ウォームアップ比率 0.03 Epochs = 10 Precision = bf16 (半精度浮動小数点) Attention = FlashAttention-2 (順伝播 + 逆伝播) Max seq len = 4096 Batch = 4 (勾配累積なし) Optimizer = paged_adamw_8bit FlashAttention-2 は Qwen で有効化されています。これは、そのヘッド次元（128）が MI300X (gfx942) の共有メモリ予算にうまく収まるためです。この構成におけるステップ時間は約 **~7.85 秒/ステップ** に落ち着きます。これは、同じレシピをコンパニオンモデルである Gemma-4-E2B ベースで実行した場合の約 **1.6 倍速** です。Gemma-4-E2B はグローバルアテンション層（ヘッド次元=512）において FlashAttention-2 を使用できず、LDS（ローカル共有メモリ）予算を超えてしまうため sdpa にフォールバックせざるを得ないからです。 ## コンパニオンモデル：同じレシピ、異なる基盤 結果がレシピに起因するものか、基盤固有のものかを検証するため、姉妹モデル — **[Gemma4Defense-2B](https://huggingface.co/athena129/Gemma4Defense-2B)** — をトレーニングしました。これは*全く同じ*トレーニングコーパスとハイパーパラメータを使用し、ベースモデルのみを Gemma-4-E2B-it に置き換えたものです。 モデル CTI-RCM (5 回試行の平均 ± 標準偏差) CTI-MCQ CyberSecQwen-4B (Qwen ベース) 0.6664 ± 0.0023 0.5868 ± 0.0029 Gemma4Defense-2B (Gemma ベース) 0.6754 ± 0.0035 0.6042 ± 0.0090 この 2 つのモデルは、CTI-RCM（Cyber Threat Intelligence - Risk Control Metric）において**0.9 ポイント以内**で収束します。レシピは引き継がれるものであり、重要なのはどの IT チェックポイント（IT checkpoint）をファインチューニングするかではなく、どのように行うかです。CyberSecQwen-4B は Apache 2.0 ライセンスであり、Gemma の利用規約が問題となる場合に適切な選択となります；一方、Gemma4Defense-2B は、4B よりも 2B がデプロイメント予算に収まりやすい場合に最適な選択肢です。 ## 課題と解決策 AMD ROCm プロジェクトで戦争の物語（war-stories）セクションなしに船出するものはありません。 ours の簡略版を以下に示します： Issue Fix **FA2 が head_dim=512 で Gemma-4 上で失敗する** グローバル・アテンション層については sdpa にフォールバックします。ローカル・アテンション層は引き続き FA2 を使用します。同じレシピの場合、Qwen と比較して約 1.6 倍低速です。 **AITER カーネルが CyberPal-2.0-20B のサービングと競合する** その特定の評価に対して VLLM_ROCM_USE_AITER=0 を設定します。AMD 環境変数は ROCm 外では無効なため、レシピ内に残されます。 **bitsandbytes は ROCm で公式にサポートされていない** 4-/8 ビットはそもそも必要ありませんでした——192 GB のメモリ余裕があれば十分です。paged_adamw_8bit を使用してください（bnb のオプティマイザ専用パスも機能します）。 **評価用の vLLM ROCm + チャットテンプレート** TRITON_ATTN バックエンドを使用し、IT ベースのテンプレートが上書きされないよう、マージ済みモデルディレクトリから chat_template.jinja を明示的に渡してください。 **デモ用の HF-Spaces ZeroGPU クォータについて** 匿名の訪問者は、IP アドレスごとに 1 日あたり最大 2 分の制限に達します。このデモスペース ([cybersecqwen-chat](https://huggingface.co/spaces/lablab-ai-amd-developer-hackathon/cybersecqwen-chat)) は HF OAuth のクライアントサイドを使用しているため、各訪問者の呼び出しはそれぞれが持つ *自身の* クォータに対して課金されます（無料プランでは 1 日あたり最大 3.5 分、Pro プランでは 25 分）。 ## 実際に試してみましょう **ライブデモ（HF でサインインして無料クォータを取得）:** 👉 [https://huggingface.co/spaces/lablab-ai-amd-developer-hackathon/cybersecqwen-chat](https://huggingface.co/spaces/lablab-ai-amd-developer-hackathon/cybersecqwen-chat) **モデル:** 👉 [https://huggingface.co/lablab-ai-amd-developer-hackathon/CyberSecQwen-4B](https://huggingface.co/lablab-ai-amd-developer-hackathon/CyberSecQwen-4B) **推論は 3 行で（12 GB 以上の GPU を使用）:** ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_id = "lablab-ai-amd-developer-hackathon/CyberSecQwen-4B" tok = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto") ``` messages = [ {"role": "system", "content": "あなたは防御的なサイバーセキュリティアシスタントです。まず標準的な CWE-ID を回答し、その後 1〜3 文の根拠を記述してください。"}, {"role": "user", "content": "ユーザー制御入力に File() パスへの連結が含まれる Java ウェブアプリにおけるパストラバーサル攻撃です。これはどの CWE に該当しますか？"} ] prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) out = model.generate(**tok(prompt, return_tensors="pt").to(model.device), max_new_tokens=256, temperature=0.3) print(tok.decode(out[0], skip_special_tokens=True)) 高スループットなサービス提供においては、公式の vllm/vllm-openai-roco イメージを使用することで、AMD MI300X 上で vLLM をそのまま利用可能です。正確なサービスコマンドと固定された設定については、[GitHub リポジトリ](https://github.com/GPT-64590/CyberSecQwen-4B) を参照してください。 ## 意図的な用途 CyberSecQwen-4B は、以下の分野で活動するセキュリティ実務家向けに構築されています: - CWE クラス分類 — 脆弱性情報（CVE やアドバイザリ）を MITRE CWE カテゴリにマッピングすること - CTI Q&A — セキュリティ概念、攻撃手法、対策に関する構造化された質問への回答 - 防御的トリアージ支援 — CVE のトリアージ、パッチの優先順位付け、脅威アクターの行動文書化を行う人間のアナリストを支援すること 翻訳全文 **明示的に避けるべき用途は**: エクスプロイトコードの生成や、武器化された PoC の作成、資格のある人間のレビューなしでのセキュリティ判断の自動実行、法的・医療的・規制対象のアドバイスが必要な文脈、あるいはサイバーセキュリティ分野以外の一般的なチャットやコード生成です。このレシピは広範な用途ではなく、特定の用途に特化して構築されました。 ## 次のステップ 優先順位のおおよその順序で、以下の方向性への拡張を検討しています: - ラップトップクラスでの展開を可能にする 1B バリアント。Qwen2.5-1.5B または Llama-3.2-1B をベースモデルとし、同じレシピを用いて、CTI-RCM で少なくとも 0.55 の達成率（4B モデルとの差が 6 ポイント以内）を目標とします。 - 量子化された GGUF リリース（Q4_K_M, Q5_K_M）により、スマートフォンやエッジボックスでのモデル実行を可能にします。Q4_K_M では約 2.5 GB のメモリで動作するため、ARM ラップトップのメモリ容量でも十分に収まります。 - 新しい CVE から CWE へのマッピングが公開されるたびに継続的な評価を行います。2021 年コホートは意図的に分布の上限として設定されましたが、今後のバージョンでは NVD（National Vulnerability Database）の成長を追跡します。 - 敵対的例に対する耐性。専門モデルの性能は最悪ケースに依存するため、CVE 記述を入力とする攻撃で一般的なプロンプトインジェクションパターンに対するハードニング（強化）パスを公開したいと考えています。 これらのいずれかがあなたのチームの課題解決に役立つ場合は、[GitHub リポジトリにイシューを開いてください](https://github.com/GPT-64590/CyberSecQwen-4B/issues) — これが優先順位を上げるための最速の方法です。 ## 結び フロンティアモデルの議論は2年間、規模についてのものでした。しかし、防御的なサイバーセキュリティの議論は、**実際に必要な場所に何が入るべきか**という点にあるべきです。8B モデルと同等の性能を持ちながらサイズが半分、研究者が購入可能なカード上で動作し、機密証拠をオンプレミス外に送信しない 4B の専門モデル——これは設計空間における有用な一角であり、AMD MI300X + ROCm 7（ROCm 7）+ Hugging Face のトレーニングスタックにより、単一のトレーニングランでこの一角を占めることが可能になりました。 デモを試したり、[モデルカード](https://huggingface.co/lablab-ai-amd-developer-hackathon/CyberSecQwen-4B)を読んだり、課題を提出してください。もしこのレシピがまだ試していない何かに移植されるなら、それが最も興味深い次のデータポイントとなるでしょう。 — *[athena129](https://huggingface.co/athena129) · AMD Developer Hackathon への提出

CyberSecQwen-4B：防衛型サイバーセキュリティには小型・特化型・ローカル実行モデルがなぜ必要か

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト