MLモデルを本番環境に安全にデプロイするための4つの制御戦略（A/B、カナリア、インターリーブ、シャドウテスト）

print("\n── 3. インターリーブテスト ──────────────────────────────────") def interleave(pred_a, pred_b): """項目を交互に配置: A, B, A, B ... ソースモデルでタグ付け。""" items_a = [("legacy", pred_a["score"] + random.uniform(-0.05, 0.05)) for _ in range(3)] items_b = [("candidate", pred_b["score"] + random.uniform(-0.05, 0.05)) for _ in range(3)] merged = [] for a, b in zip(items_a, items_b): merged += [a, b] return merged clicks = {"legacy": 0, "candidate": 0} shown = {"legacy": 0, "candidate": 0} for req in requests: pred_l = legacy_model(req) pred_c = candidate_model(req) for source, score in interleave(pred_l, pred_c): shown[source] += 1 clicks[source] += int(random.random() < score) # クリック ~ スコア for name in ["legacy", "candidate"]: print(f" {name:12s} | インプレッション: {shown[name]:4d} " f"| クリック: {clicks[name]:3d} " f"| CTR: {clicks[name]/shown[name]:.3f}") ![image](https://www.marktechpost.com/wp-content/uploads/2026/03/image-38.png) シャドウテスト 両方のモデルがすべてのリクエストを処理しますが、明確な区別があります — `live_pred`がユーザーに返される結果であり、`shadow_pred`は単にログに記録されるだけで、それ以上の処理は行われません。候補モデルの出力はユーザーに返されることも、表示されることも、アクションを起こされることもありません。ログリストがシャドウテストの全てです。実際のシステムでは、このログはデータベースやデータウェアハウスに書き込まれ、エンジニアが後からクエリを実行し、レガシーモデルと比較してレイテンシ分布、出力パターン、スコア分布などを分析します — すべて、1人のユーザーにも影響を与えることなく行われます。 print("\n── 4. シャドウテスト ───────────────────────────────────────") log = [] # 候補モデルのシャドウログ for req in requests: # ユーザーに返される結果 live_pred = legacy_model(req) # シャドウ実行 — ユーザーには表示されない shadow_pred = candidate_model(req) log.append({ "request_id": req["id"], "legacy_score": live_pred["score"], "candidate_score": shadow_pred["score"], # ログ記録のみ、提供されない }) avg_legacy = sum(r["legacy_score"] for r in log) / len(log) avg_candidate = sum(r["candidate_score"] for r in log) / len(log) print(f" レガシーモデル 平均スコア（提供済み）: {avg_legacy:.3f}") print(f" 候補モデル 平均スコア（ログ記録）: {avg_candidate:.3f}") print(f" 注: 候補モデルのスコアにはクリック検証はありません — シャドウ実行のみです。") ![image](https://www.marktechpost.com/wp-content/uploads/2026/03/image-37.png) この投稿「MLモデルを本番環境に安全にデプロイする方法: 4つの制御戦略（A/B、カナリア、インターリーブ、シャドウテスト）」は、MarkTechPostで最初に公開されました。

MLモデルを本番環境に安全にデプロイするための4つの制御戦略（A/B、カナリア、インターリーブ、シャドウテスト）

背景や根拠まで確認しますか？

調べる

選ぶ

サイト