堅牢な外れ値検出のための5 つの必須アプローチ

![image](https://www.kdnuggets.com/wp-content/uploads/kdn-5-essential-approaches-to-robust-outlier-detection.png)** ## # イントロダクション データセットを探索している際、何か*奇妙な*データポイントに出会ったことはありませんか？観測値の绝大多数とは不釣り合いに異なるように見える1つまたは数個のポイントが、平均値を大幅に歪め、分散を膨らませてしまうことがあります。私もそのような経験があります。これらのポイントは外れ値（アウトライヤー）です。その影響はデータ統計量を変更するだけに留まりません：外れ値は構築した予測分析モデルのパフォーマンスを容易に損なうため、あらゆるデータプロジェクトにおいてそれらを堅牢に検出し処理することは極めて重要です。この記事では、これらを検出するための5つの本質的なアプローチを列挙・比較し、それぞれについて短いPythonの例を示します。 ## # 1. Z スコア法 Z スコア計算は、正規分布するデータ変数に対して最もよく機能するシンプルな手法です。これは各ポイントが平均値から標準偏差で何個分離れているかを測定します。本質的に、Z スコアが3以上（または-3以下）であるデータポイントは外れ値としてフラグ付けされます：つまり、そのポイントと平均値の間に3つの標準偏差を超える距離があることを意味します。シンプルさゆえに優れていますが、平均値や標準偏差が極端な値に対して本質的に非常に敏感であるという欠点があります。 ```python import numpy as np from scipy import stats data = np.array([10, 12, 11, 13, 12, 11, 10, 12, 11, 13, 250]) z_scores = np.abs(stats.zscore(data)) outliers = data[z_scores > 3] print(outliers) ``` 出力: [250] ## # 2. 四分位範囲（IQR）法 あなたのデータ変数が正規分布していない場合、Z スコア計算よりも IQR の方がより堅牢で信頼性の高い選択肢となります。この手法はパーセンタイルを使用し、具体的には第 1 四分位数（Q1、25 パーセンタイル）と第 3 四分位数（Q3、75 パーセンタイル）の間の広がりを特定することで機能します。Q1 の 1.5 倍 IQR 未満および Q3 の 1.5 倍 IQR 以上の境界点を以下のように計算し、これらが「フェンス」として機能します。つまり、これらの 2 つのフェンスのどちら側にも外れた点は異常値としてフラグが立てられます。朗報は、IQR の堅牢性は極端な値が平均や標準偏差を歪めるように四分位数を変化させないという事実に基づいている点です。 import numpy as np data = np.array([10, 12, 11, 13, 12, 11, 10, 12, 11, 13, 250]) q1, q3 = np.percentile(data, [25, 75]) iqr = q3 - q1 lower_fence = q1 - 1.5 * iqr upper_fence = q3 + 1.5 * iqr outliers = data[(data upper_fence)] print(outliers) 出力: [250] ## # 3. イソレーションフォレスト 多次元データを扱う際、Z スコアや IQR（四分位範囲）といった従来の手法はもはや効果的ではありません。そこで登場するのがアイソレーションフォレストです。これは異常値を「正常」なデータから分離することを学習する機械学習の手法です。この考え方は、分類や回帰のための古典的な決定木に似ています。外れ値は稀なデータポイントであるため、ツリー分割を通じてそれらを分離するのは非常に容易です。したがって、ある点がツリーアルゴリズムによって他の点から非常に簡単に分離される場合、それは外れ値である可能性が高いのです。 import numpy as np from sklearn.ensemble import IsolationForest data = np.array([10, 12, 11, 13, 12, 11, 10, 12, 11, 13, 250]).reshape(-1, 1) model = IsolationForest(contamination=0.1, random_state=42) predictions = model.fit_predict(data) outliers = data[predictions == -1] print(outliers) Output: [[250]] ## # 4. メディアン絶対偏差 (MAD: Median Absolute Deviation) これは、いわば Z スコアのより頑健なバージョンです。MAD は極端な値に耐性のある中央値（メディアン）を使用し、そこから計算される絶対偏差を用いて、強化された「Z スコア」を算出します。ただし注意が必要なのは、この手法は非正規分布の変数にも適用可能ですが、通常は 1 次元データに対して用いられるため、単変量解析の技術であるということです。 import numpy as np from scipy.stats import median_abs_deviation data = np.array([10, 12, 11, 13, 12, 11, 10, 12, 11, 13, 250]) mad = median_abs_deviation(data, scale="normal") median = np.median(data) modified_z_scores = np.abs(data - median) / mad outliers = data[modified_z_scores > 3] print(outliers) Output: [250] ## # 5.密度ベースクラスタリング：DBSCAN これは、空間データや複雑なグループ構造を持つデータセットにおける外れ値の特定に優れたアプローチです。[DBSCAN](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.DBSCAN.html)** アルゴリズムは、高密度領域において互いに近接した点を中心にグループを構築します。適用過程では、低密度領域に孤立しているデータ点は自動的にノイズ、つまり外れ値として識別されます。方法 3（アイソレーションフォレスト）と同様に、これは多変量手法であり、外れ値検出プロセスにおいて多次元データポイントを評価することを可能にします。 import numpy as np from sklearn.cluster import DBSCAN data = np.array([10, 12, 11, 13, 12, 11, 10, 12, 11, 13, 250]).reshape(-1, 1) model = DBSCAN(eps=5, min_samples=2) labels = model.fit_predict(data) outliers = data[labels == -1] print(outliers) Output: [250] ## # まとめ 適切な外れ値検出手法を選ぶことは、データを理解することにかかっています。Z スコアと IQR は単変量データに対する迅速でシンプルな選択肢であり、特に変数が正規分布しない場合には IQR がより安全な選択となります。MAD は、極端な値が結果を歪める可能性がある場合に、より頑健な単変量の代替手段を提供します。データに多次元性或は複雑な構造がある場合、アイソレーションフォレストや DBSCAN は単純な統計的閾値を超えて外れ値検出を拡張し、単純な手法では捉えきれない関係性を捉えます。唯一最善のアプローチというものは存在せず、データの形状と規模に最も適したものを選ぶだけです。 [Iván Palomares Carrascosa](https://www.linkedin.com/in/ivanpc/) は、AI、機械学習、ディープラーニング、LLM におけるリーダー、作家、スピーカー、そしてアドバイザーです。彼は現実世界で AI を活用する方法を他者に指導・訓練しています。

堅牢な外れ値検出のための5 つの必須アプローチ

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

調べる

選ぶ

サイト