Google AI、ゼロショット分類・回帰用のハイブリッドアテンション型表計算基盤モデル「TabFM」を発表

Google Research は、表形式データ向けに構築されたファウンデーションモデルである TabFM を発表しました。TabFM は、データセット固有のトレーニングを行うことなく分類と回帰を実行します。すべての予測は単一の順方向パスから得られます。このモデルは、表形式の予測をコンテキスト内学習の問題として再定義しています。現在、Hugging Face と GitHub で利用可能です。 TL;DR TabFM は、トレーニングやチューニング、特徴量エンジニアリングを行わずに、未見の表に対して予測を行います。 完全なデータセットを1 つのプロンプトとして読み込み、コンテキスト内学習を通じて予測を実行します。 アーキテクチャは、TabPFN スタイルの行/列アテンションと TabICL スタイルのコンテキスト内学習を組み合わせたものです。 トレーニングには、構造的因果モデルから生成された数億件の合成データセットが使用されました。 Google BigQuery はまもなく AI.PREDICT SQL コマンドを通じて TabFM を公開する予定です。 TabFM とは何か？ 表形式データは、エンタープライズデータインフラストラクチャの基盤を形成しています。顧客の離脱や金融詐欺検出などのタスクは、表形式で処理されます。長年、この分野では木ベースの手法が支配的でした。XGBoost、AdaBoost、ランダムフォレストは、構造化データに対して堅牢な結果を提供してきました。Google は TabFM を、ゼロショット時系列モデルである TimesFM の表形式 counterpart として位置付けています。 その信頼性には代償がありました。XGBoost を新しいデータセットに適合させることは、単なる .fit() コール1 つでは実現できません。データサイエンティストは、生データから信頼できるシグナルを抽出するために、ハイパーパラメータの最適化や特徴量エンジニアリングに数時間を費やします。TabFM はまさにこのボトルネックを対象としています。 TabFM は、大規模言語モデル（LLM）が一般化したゼロショットのロジックを適用します。LLM は重みを更新することなく、コンテキスト内の例から新しいタスクを学習します。この手法はインコンテキスト・ラーニング（ICL: in-context learning）と呼ばれます。TabFM は同じ考え方を表データに持ち込みます。これは、一度のパスで以前に見たことのない表に対して予測を生成します。 仕組みについて 従来のモデルは、各データセットの分布に合わせてパラメータを更新します。TabFM はそのステップを完全に省略します。それは、データセット全体を単一の統合されたプロンプトとして扱います。このプロンプトには、トレーニング例とターゲットとなるテスト行の両方が含まれています。モデルは推論時に列と行の関係を読み取ります。 表はテキストではありません。表は二次元であり、本質的に順序を持ちません。2 つの行や 2 つの列を入れ替えても意味は変わりません。標準的な言語モデルは、代わりに一次元で順序付けられたシーケンスを処理します。このギャップを埋めるために、TabFM は TabPFN と TabICL を組み合わせたハイブリッド設計に統合しています。 それは 3 つのメカニズムに依存しています: 行と列のアテンションを交互に使用：生データ表は多層アテンションモジュールを通過します。TabPFN に従い、アテンションは列（特徴量）と行（例）の間で交互に行われます。この深い文脈化により、特徴量の相互作用や依存関係を捉えることができます。これは、本来であれば手動での特徴量設計が必要となる作業を代替するものです。 行圧縮：各行のクロスアテンションされた情報は、単一の密なベクトルに圧縮されます。 コンテキスト学習：専用の Transformer がこれらの圧縮埋め込みを処理します。TabICL に従い、圧縮された行に注意を向けることで計算コストが劇的に削減されます。予測は、はるかに大規模なデータセット上でも効率的に維持されます。 スケールした合成データでのトレーニング ファウンデーションモデルには膨大で多様なデータが必要です。オープンソース空間では高品質な表形式データが不足しています。産業用テーブルには独自のスキーマと機密情報が含まれており、広範な事前学習にはアクセスできません。 合成テーブルは任意のサイズに生成可能です。Google の研究チームは、この規模においてこれが事実上唯一の実用的な選択肢であると述べています。そのため TabFM は、数億件の合成データセット上で完全にトレーニングされます。これらは構造的因果モデル（SCMs: Structural Causal Models）を使用して動的に生成され、それぞれが多種多様なランダム関数を組み込んでいます。このアプローチは、実世界のテーブルに見られる分布や複雑な特徴間の関係を捉えます。研究チームは、このモデルが見たことのない実世界データにもよく一般化すると報告しています。 パフォーマンスとベンチマーク 研究チームは TabArena 上で TabFM を評価しました。TabArena は、対戦勝率から Elo スコアを計算する生きているベンチマークです。評価には 38 の分類用データセットと 13 の回帰用データセットが含まれます。サンプルサイズは 700 から 150,000 の範囲に及びます。 2 つの構成がテストされました。Plain TabFM は、単一の順方向パスですぐに動作します。チューニングや交差検証は不要です。TabFM-Ensemble は、クロス特徴量と SVD（特異値分解）特徴量を追加し、非負最小二乗ソルバーを使用して 32 個のアンサンブルに対する最適重みを計算します。分類においては、キャリブレーションステップとして Platt スケーリングも追加されます。 研究チームは、TabFM が徹底的にチューニングされた業界標準の教師ありアルゴリズムを一貫して上回ると報告しています。各フォールドごとの詳細な指標と直接比較での勝率は GitHub ページに掲載されています。 Aspect Traditional GBDT (XGBoost) TabFM TabFM-Ensemble Per-dataset training Required None (in-context learning) None Hyperparameter tuning Extensive, manual None Ensemble weights via NNLS Feature engineering Manual, domain-specific Learned by attention Adds cross + SVD features Prediction After full training Single forward pass 32-way ensemble Calibration Manual (optional) — Platt scaling (classification) Getting Started: Installation and Code インストールはリポジトリをクローンしてローカルにインストールするものです。基本インストールでは CPU のみの JAX が使用されます。cuda エクストラを使用すると、CUDA 12 プラグインと GPU 実行用の NVIDIA ライブラリが取得されます。 コア要件は特定のものです。Python 3.11 以降が必要です。jax==0.10.1 と flax==0.12.7 が固定され、最新の flax.nnx API が使用されます。Hugging Face Hub により事前学習済み重みが自動的にダウンロードされます。 Copy CodeCopiedUse a different Browser import numpy as np import pandas as pd from tabfm import tabfm_v1_0_0 from tabfm import TabFMClassifier # 事前学習済み TabFM v1.0.0 を読み込み（Hugging Face からダウンロード） model = tabfm_v1_0_0.load() # scikit-learn と互換性のある分類器 clf = TabFMClassifier(model=model) X_train = pd.DataFrame({ "age": [25.0, 45.0, 35.0, 50.0], "job": ["engineer", "manager", "engineer", "manager"], "income": [80000, 120000, 90000, 130000] }) y_train = np.array(["low_risk", "high_risk", "low_risk", "high_risk"]) X_test = pd.DataFrame({ "age": [30.0, 48.0], "job": ["engineer", "manager"], "income": [85000, 125000] }) clf.fit(X_train, y_train) predictions = clf.predict(X_test) probabilities = clf.predict_proba(X_test) print("Predictions:", predictions) print("Class Probabilities:\n", probabilities) Here fit() prepares ordinal encoders and numerical scalers. It does not train model weights on your data. The regressor mirrors this pattern with TabFMRegressor and reg.predict(). Use Cases With Examples The API fits common predictive tasks directly. For customer churn, the context holds past customers labeled churned or retained. TabFM scores churn risk for new customers in one pass. For credit risk, rows carry age, job, and income features. Labels mark low_risk or high_risk, as in the sample code. New applicants get scored without a training cycle. 回帰タスクにおいては、住宅価格の予測が自然な適用例となります。コンテキスト行には床面積や近隣地域の情報が含まれており、TabFM は未見の物件リストに対して予測された価格を返します。 インタラクティブ・エクスペラ

Google AI、ゼロショット分類・回帰用のハイブリッドアテンション型表計算基盤モデル「TabFM」を発表

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト