Google AI、時系列予測向けゼロショット基盤モデル「TimesFM-3」を公開

Google Research は、複数の関連時系列を単一の順方向パスで予測する 3 億 3000 万パラメータの「TimesFM-3」という時系列基盤モデルを発表しました。TimesFM のバージョン 2.5 までのすべてのチェックポイントは単一変数（univariate）であり、1 つの時系列とその履歴のみを扱うものでした。一方、TimesFM-3 は、1 兆を超える時系列データポイントを用いて多変数予測のためにネイティブに事前学習されており、タスク固有の微調整を行わずとも、複数のターゲット、過去の共変量、過去から未来にかけての共変量を同時に受け付けることができます。GIFT-Eval、fev-bench、TIME リーダーボードにおける平均順位では、点推定および確率的予測の両方の指標で、事前学習済み基盤モデルの中で最高位を記録しています。

imagehttps://research.google/blog/timesfm-3-a-zero-shot-foundation-model-for-multivariate-forecasting/

実運用は可能なのか？

部分的には可能です。TimesFM リポジトリのコードは Apache-2.0 ライセンスですが、TimesFM 3.0 の重み（weights）は「timesfm-non-commercial-license-v1.0」の下で配布されています。これは非商用かつ非生産環境での利用に限定されたライセンスです。今日からベンチマークテストは行えますが、本番の予測 API の裏側で稼働させることはできません。

何が変わったのか？

バージョン 2.5 までの TimesFM はすべて単一変数モデルでした。つまり、1 つの時系列をその履歴のみから予測するものでした。しかし、現実の予測課題はそんな単純な形にはなっていません。Google が例に挙げるのはアイスクリームの売上です。関連製品の売上の動向や来場者数、天候、プロモーション、祝日など、多くの要素がターゲットとなる売上を左右します。

TimesFM-3 は、多変量時系列予測のためにネイティブに事前学習されたモデルです。パラメータ数は 3.3 億で、実データと合成データを合わせて 1 兆個以上の時系列ポイントから学習しています。

タスク固有の微調整を一切行わず、ゼロショットで動作する入力タイプは以下の 3 つです。

• 複数のターゲットを同時に予測し、各ターゲットに対して点推定値と分位点推定値を出力します。
• 過去のみの情報である過去共変量（例：過去の来場者数）。
• 未来の値が既知である過去・未来共変量（例：プロモーションカレンダー）。

アーキテクチャは、パッチ化と 2 種類の注意機構を組み合わせたものです。

バックボーンはデコーダー型のトランスフォーマーを維持しています。連続するデータポイントを 32 ステップごとにパッチにグループ化し、系列ごとに正規化することで、スケールの大きな差異がモデルの学習を支配しないようにしています。ターゲットトークンと過去共変量トークンは、同じパッチから生成されます。一方、過去・未来共変量のトークンには「先読み」の工夫が施されており、現在のパッチに未来のパッチを連結させることで、イベントが発生する前にスケジュール情報をモデルが把握できるようにしています。

トークンはその後、2 次元グリッドに入り、交互に動作する 2 つの注意機構を通ります。

1. 因果的時系列アテンション：水平方向に動作します。厳密に因果関係に従い、同一系列内の過去のトークンのみに限定されるため、情報漏洩を防ぎます。
2. 完全変量アテンション：垂直方向に動作します。特定の時間ステップにおいて、そのステップの他のすべての系列からトークンを読み込み、系列間の相関関係を学習します。

多数回の推論を必要とせず、1 回の順伝播で完了します。

従来の TimesFM のバージョンでは、パッチを一つずつ処理する必要があり、これによりレイテンシの増加や計算コストの上昇、誤差が蓄積する問題が生じていました。TimesFM-3 では、TiRex で導入されたトレーニング時のマスキング戦略である「連続パッチマスク（Contiguous Patch Masking）」を採用しています。これは、予測期間全体に対してマスキングされたプレースホルダートークンを追加し、ターゲットと過去の共変量をここでマスクする手法です。一方、過去から未来へ続く共変量は可視状態のまま保たれるため、既知の未来信号もモデルに届きます。交互型アテンション層がすべてのマスクされた予測期間パッチを同時に埋めることで処理を行います。

各ターゲットには、予測ステップごとに 10 パーセンタイルから 90 パーセンタイルまでの 9 つの量子化値（quantiles）が付与されます。

ベンチマーク結果

Google は GIFT-Eval、fev-bench、TIME リーダーボードにおいて、Chronos-2、Toto 2.0 ファミリー、TimesFM-2.5 と比較評価を行いました。その結果、事前学習済みファウンデーションモデルの中で TimesFM-3 は、ポイント予測および確率的予測の両方の指標において、すべてのベンチマークで平均ランク 1 位を達成しました。

パッケージリリースノートによると、fev-bench では 100 の実世界タスク全体で総合 1 位、TIME では 50 のドメインデータセットと 98 の評価タスク全体で総合 1 位、GIFT-Eval ではファウンデーションモデル間で 1 位を獲得しています。

インタラクティブ解説

主なポイント

• TimesFM-3 は、1 兆（1T+）以上の時系列データポイントで事前学習された、ネイティブな多変量時系列ファウンデーションモデルであり、パラメータ数は 3.3 億です。
• 因果的な時間方向アテンションと、すべての変数間のフルアテンションを交互に用いることで、ゼロショットでのクロスシリーズ依存関係のモデル化が可能になっています。
• 連続パッチマスクを採用することで、9 つの量子化値を各ステップに付与しつつ、予測期間全体を単一の順方向パスで生成できます。

時系列予測におけるユニバリアートおよびマルチバリアートモードで、GIFT-Eval、fev-bench、TIME の各ベンチマークにおいて、基盤モデルとして 1 位を獲得しました。

なお、本モデルの重みは非商用・非生産用途に限定されています。実運用向けには引き続き Apache-2.0 ライセンスの TimesFM 2.5 をご活用ください。

GitHub リポジトリや Hugging Face ページの宣伝、製品発表、ウェビナー開催などのご提携をご希望の場合は、お気軽にお問い合わせください。

本記事は MarkTechPost にて公開された「Google AI が 3.3 億パラメータのゼロショット基盤モデル TimesFM-3 をマルチバリアート時系列予測向けにリリース」の内容です。