Google、ゼロショット時系列予測の基盤モデル「TimesFM-3」を発表

Google は、単一の順方向パスで高精度な多変量時系列予測を可能にする最先端の時系列ファウンデーションモデル「TimesFM-3」を発表しました。このモデルは主要なベンチマークにおいて他の予測モデルを大幅に上回る性能を示しています。

2024 年に TimesFM が登場して以来、小売、金融、システム監視（オバザビリティ）、製造業、医療、自然科学など多岐にわたる分野で、時系列ファウンデーションモデルが実世界の予測タスクに採用されるようになりました。

2025 年 9 月にリリースされた TimesFM-2.5 まで、私たちのモデルは単変量予測（ある時系列の過去のデータのみを用いた予測）に限定されていました。しかし、実世界の予測課題の多くは本質的に多変量です。つまり、複数の時系列や補助的な外部特徴量が組み合わさって、将来の予測に影響を与えるケースがほとんどです。

例えば、小売チェーンにおけるアイスクリームの販売予測を考えてみましょう。過去の売上データだけでは全体像を把握することはできません。優れた予測には、関連商品の売上（例：アイスクリームコーン、シロップ）、歴史的な店内来客数、そして天気予報やプロモーション、祝日といった既知の将来イベントなどの情報も不可欠です。

本日、時系列基盤モデルの次世代版として「TimesFM-3」をご紹介いたします。これは多変量予測のためにネイティブに事前学習されたモデルです。

TimesFM-3 は 3.3 億パラメータを備え、実世界および合成データからなる 1 兆個以上の時系列ポイントを含む大規模なコーパスで事前学習されています。先行モデルが持つ効率性とゼロショットでの汎化能力を引き継ぎつつ、複雑な多変量シナリオに対する堅牢なサポートをゼロショット方式で追加しました。

このモデルは、複数の共進化する時系列データを同時に予測し、タスク固有の微調整を必要とせずに依存関係を捉えることで全体の精度を向上させることができます。ネイティブにサポートしている機能は以下の通りです。

• *複数のターゲット:* 関連する複数の時系列を同時に予測します（例：異なるブランドのアイスクリームの同時予測）。すべてのターゲットに対して、ポイント予測と分位点予測の両方に対応しています。
• *過去の共変量:* 過去にのみ判明している特徴量（例：過去の来場者数）を取り込むことができます。
• *過去・未来（動的）共変量:* 将来のイベント情報を利用して予測を導きます（例：計画されているプロモーションキャンペーンや天気予報）。

Under the hood: Architecture & inference

TimesFM-3 は、先行モデルで実証されたデコーダー専用の transformer アーキテクチャ を踏襲しています。前バージョンと同様に、連続するデータポイントを 32 タイムステップの「パッチ」にグループ化して時系列を効率的に処理します。さらに、TimesFM-2.5 と同様に時系列ごとに正規化を適用し、スケールが大きく異なるデータにも対応できるようにしています。

Multivariate token construction

ターゲット変数と過去共変量については、トークンを単一のパッチから直接構築します。一方、過去・未来の共変量に対しては、TimesFM-3 は巧妙な「先読み」戦略を採用しています。各トークンに現在のパッチと未来のパッチを連結させることで、モデルが既知の将来信号を事前に確認できるようにしています。

Alternating attention architecture

パッチをトークン化した後、入力リジュードブロックを経てメインの transformer スack に流入します。このスack は 2 次元グリッドとして動作します：

因果的な時系列アテンション：トークンは時間軸に沿って水平方向に注目します。データリークを防ぐため、このアテンションは厳密に因果的であり、各トークンは自分自身の時系列データ内の過去のトークンのみを見ることができます。

全変量アテンション：トークンは時系列間を垂直方向に注目します。任意の時間ステップにおいて、あるトークンはデータセット内の他のすべての時系列を参照可能で、モデルは複雑な時系列間の相関（例えば、あるシリーズでのプロモーションが別のシリーズの販売にどう影響するか）を学習できます。

これらの 2 つのアテンション機構は数層にわたって交互に動作し、時間的なパターンと時系列間の関係をシームレスに統合します。

自己回帰なしのデコード：ワンパスで予測する

過去の TimesFM バージョンでは、予測をパッチごとに生成する必要があり、レイテンシの増加や誤差の蓄積、計算コストの高さといった課題がありました。TimesFM-3 では、Contiguous Patch Masking の戦略を採用し、予測範囲全体をワンパスで生成します。

モデルは、観測された文脈の後に未来の予測範囲に対応するマスク付きプレースホルダートークンを追加して処理を行います。未来の値が未知であるため、ターゲット系列と過去の共変量系列は予測範囲内でマスクされます。一方、過去から未来にかけての共変量系列は可視化され続け、休日やスケジュールされたイベントなど、事前に知られている未来のシグナルをモデルに提供します。

交互的なアテンション層を通じて、モデルはすべてのマスクされた予測パッチを同時に埋め込みます。反復ループは不要です。各ステップで、9 つの分位点（10 番目から 90 番目のパーセンタイル）を予測し、不確実性を包括的に捉えた確率的な予測結果を提供します。

多変量予測の具体例

アイスクリームの販売例を振り返りましょう。来月のプロモーションスケジュールを立てる際、売上を予測して先手を打つ必要があるとします。

標準的な単一変数モデル（下の赤い線）は過去の売上のみに基づき、週ごとのパターンを単純に未来へ延長するだけです。そのため、特定の日に実施される予定のプロモーションについては一切考慮できません。

一方、TimesFM-3 の多変量モード（下の青い線）は異なるアプローチを採用しています。過去から未来にかけての共変数として、計画されているプロモーションスケジュールをモデルに入力します。これにより、モデルは過去の文脈から「プロモーションと売上の増加」の関係性を学習し、その知見を将来のプロモーション実施日に適用します。

その結果、各プロモーション日には約 20% の売上増が見込まれるという予測が可能になります。下のチャートでは、プロモーション共変数のアンバー色のブロックがプロモーション実施日を強調表示しており、青い予測ラインはこれに応じて明確に変動しています。一方、赤い予測ラインにはその反応は見られません。

このように、1 ヶ月全体を通じて見ると、より正確な収益予測が可能になります。

評価とベンチマーク

TimesFM-3 の性能は、3 つの包括的な公開予測ベンチマークで検証されました。対象となったのは Gift-Eval、FEV-Bench、そして Time です。これらすべてのベンチマークにおいて、TimesFM-3 は事前学習済みファウンデーションモデルの中で、点予測および確率予測の両方の指標で最高ランクを獲得しています。

以下のグラフは、3 つのベンチマークにおけるタスクごとの平均順位を示しています。点予測の精度と確率予測の品質（数値が低いほど優れている）を評価した結果です。比較対象には、多変量対応モデルである Chronos-2 や Toto 2.0 ファミリー、そして以前のバージョンである TimesFM-2.5 を含んでいます。

各グラフには TimesFM-3 のデータが 2 つ含まれています。「単一変数モード」の点は、共変量や系列間の情報を一切使用せず、従来の単一変数モデルのように各対象系列を独立して評価した場合のパフォーマンスを示しています。この単一変数モードにおいても、TimesFM-3 は他の競合モデルと同等か、それ以上の性能を発揮しています。

一方、完全な多変数モードに切り替えると、TimesFM-3 はさらに飛躍的な進歩を遂げます。点予測および確率予測のすべての分野で、最高の平均順位を記録しました。

結論

私たちは、ゼロショット時系列ファウンデーションモデル「TimesFM」ファミリーの最新世代である TimesFM-3 を発表しました。このモデルは、複数の公開ベンチマークにおいて、多変量および単変量の予測タスクで最良の結果（state-of-the-art）を達成しています。

TimesFM-3 は現在、GitHub および Hugging Face で利用可能です。BigQuery との連携機能も近日公開予定です。それまでは、単変量タスクにおいて TimesFM-2.5 をすぐに試すことができます。これにより、機械学習の専門知識がなくても、BigQuery の AI.FORECAST コマンドに親しむことが可能です。

謝辞

本プロジェクトは、Yichen Zhou 氏、Petros Mol 氏、Abhimanyu Das 氏、Samet Oymak 氏との共同研究です。