自動化機械学習 - Airbnbにおけるデータサイエンティストの生産性を加速させるパラダイムシフト

**自動化機械学習（AML）―Airbnbにおけるデータサイエンティストの生産性を加速させるパラダイムシフト** Airbnbは、データサイエンスのワークフロー改善を常に模索している。多くのプロジェクトは機械学習を含み、その過程には反復的な作業が少なくない。こうした作業には主に、(1)探索的データ分析（予測対象変数に対する全変数のプロットや要約統計量の自動計算）、(2)特徴量変換（カテゴリ変数のエンコーディング、欠損値補完など多くの定型的処理）、(3)アルゴリズム選択とハイパーパラメータチューニング（選択肢が膨大で自動化に適する）、(4)モデル診断（学習曲線、部分依存プロット、特徴量重要度などの自動生成）が挙げられる。 これらのタスクを自動化するツールを開発する動きが広がり、その概念は「自動化機械学習（AML）」と呼ばれる。AMLの範囲は明確に定義されていないが、国際会議ICMLのAMLワークショップでは、上記のような反復作業全般の自動化を含むとされている。 AMLは有効かという問いに対して、Airbnbの見解は「使用方法による」である。ドメイン知識や人間の判断が必要な問題が多いため、AMLによるデータサイエンティストの完全な代替は難しい。また、AMLは現在、表形式データを用いた回帰・分類問題で特に有用だが、この領域は急速に進歩している。適切に活用すれば、データサイエンティストの生産性を桁違いに向上させる可能性がある。 AirbnbではAMLを以下のように活用している。第一に、**公平なチャレンジャーモデルの提示**である。既存モデルと同じ訓練データを用いて、AMLが多数の候補モデルを迅速に生成し、最適なモデル体系の選択を支援する。第二に、**ターゲットリークの検出**である。AMLが自動的に高速で候補モデルを構築する過程で、データリーク（予測に不適切な情報が混入すること）を早期に発見できる。 要するに、AMLはデータサイエンティストの創造的業務から反復作業を肩代わりし、生産性を飛躍的に高める「パラダイムシフト」をもたらすツールとして位置付けられる。ただし、それは人間の専門家とドメイン知識を補完し、強化するためのものであり、完全に置き換えるものではない。

自動化機械学習 - Airbnbにおけるデータサイエンティストの生産性を加速させるパラダイムシフト

背景や根拠まで確認しますか？

調べる

選ぶ

サイト