Google Research、時系列予測のゼロショット基盤モデル「TimesFM-3」を発表

私たちは TimesFM-3 を発表します。これは、単一の順方向パスで高精度な多変量時系列予測を可能にする最先端の時系列基盤モデルです。主要なベンチマークにおいて、他の予測モデルを大きく上回る性能を示しています。

2024 年に TimesFM が登場して以来、小売、金融、システム監視（オバザビリティ）、製造業、医療、自然科学など多様な分野で、時系列基盤モデルが実世界の予測タスクに広く採用されるようになりました。

2025 年 9 月にリリースされた TimesFM-2.5 まで、私たちのモデルは単変量予測（ある時系列の過去のデータのみを用いた予測）に限定されていました。しかし、実世界の多くの予測課題は本質的に多変量です。つまり、複数の時系列と補助的な外部特徴量が組み合わさって、将来の予測に影響を与えるケースがほとんどです。例えば、小売チェーンのアイスクリーム販売を予測する場合を考えてみましょう。過去の売上データだけでは全体像を把握することは稀です。優れた予測には、関連商品の売上（例：アイスクリームのコーンやシロップ）、歴史的な来店者数、そして天気予報やプロモーション、祝日といった既知の将来イベントなどの情報も取り入れる必要があります。

本日、時系列ファウンデーションモデルの次世代版として「TimesFM-3」をご紹介いたします。これは多変量予測をネイティブにサポートするよう設計されたモデルで、Hugging Face の TimesFM-3 で公開されています。

TimesFM-3 は 3 億 3,000 万パラメータを備え、実世界および合成データからなる時系列コーパス（総計 1 兆ポイント以上）で事前学習済みです。先行モデルが持つ効率性とゼロショットでの汎化能力を引き継ぎつつ、複雑な多変量シナリオに対する堅牢なサポートをゼロショットで実現しました。

このモデルは、複数の共進化する時系列データを同時に予測し、タスク固有の微調整を行わずに依存関係を捉えることで、全体の精度向上を図ることができます。ネイティブでサポートする機能は以下の通りです。

• *複数のターゲット:* 関連する複数の時系列を同時に予測します（例：異なるブランドのアイスクリームの同時予測）。すべてのターゲットに対してポイント予測と分位点予測に対応しています。
• *過去の共変量:* 過去にのみ判明している特徴量（例：過去の来場者数）を取り込むことができます。
• *過去・未来（動的）共変量:* 将来のイベント情報（例：計画されたプロモーションキャンペーンや天気予報）を活用して、予測を導くことが可能です。

Under the hood: Architecture & inference

TimesFM-3 は、先行モデルたちで実証済みのデコーダー専用 Transformer アーキテクチャ を基盤としています。前バージョンと同様に、連続するデータポイントを 32 タイムステップの「パッチ」にグループ化することで時系列データを効率的に処理します。また、TimesFM-2.5 の手法 （参考リンク） に倣い、時系列ごとの正規化を適用して、スケールが大きく異なるデータにも対応できるようにしています。

Multivariate token construction

ターゲット変数と過去共変量変数のトークンは、単一のパッチから直接構築されます。一方、過去・未来共変量変数については、TimesFM-3 が「先読み」戦略を採用しています。各トークンに現在のパッチと未来のパッチを連結させることで、モデルが将来の既知信号を事前に確認できるようにしています。

Alternating attention architecture

パッチがトークン化されると、入力リジュードブロックを経てメインの Transformer スack に流入します。このスack は 2D グリッドとして動作します：

因果的な時間的アテンション：トークンは時間軸に沿って水平方向に注目します。データリークを防ぐため、このアテンションは厳密に因果関係に基づいており、各トークンは自身の時系列データ内にある過去のトークンのみ参照できます。

全変量アテンション：トークンは時系列間を垂直方向に注目します。任意の時間ステップにおいて、トークンはデータセット内の他のすべての時系列を参照可能であり、これによりモデルは複雑な時系列間の相関関係（例えば、あるシリーズでのプロモーションが別のシリーズの販売にどう影響するか）を学習できます。

これらの2つのアテンション機構は数層にわたって交互に動作し、時間的パターンと時系列間の関係をシームレスに融合させます。

非自己回帰型デコード：単一パスでの予測

過去のバージョンの TimesFM は、パッチを一つずつ生成する方式を採用しており、レイテンシの発生や誤差の蓄積、計算コストの高さが課題でした。TimesFM-3 では、Contiguous Patch Masking の戦略を用いて、予測範囲全体を単一の順方向パスで生成します。

モデルは、観測されたコンテキストに続き、未来の予測範囲に対するマスク付きプレースホルダートークンを追加します。ターゲット系列と過去共変量系列については、未来値が未知であるため予測範囲内でマスクされます。一方、過去から未来にかけての共変量系列は可視状態を維持し、休日や予定されたイベントなど、モデルが利用可能な将来のシグナルを提供します。

交互に配置されるアテンション層を通じて、モデルはすべてのマスクされた予測範囲のパッチを同時に埋め込みます。反復的なループ処理は不要です。各ステップにおいて、モデルは 9 つの分位点（10 パーセンタイルから 90 パーセンタイルまで）を予測し、予測の不確実性に関する包括的な確率的な見通しを提供します。

多変量予測の具体例

アイスクリームの売上事例を振り返りましょう。来月のプロモーションスケジュール策定を担当し、売上の見通しを立てる必要があるとします。

標準的な単一変数モデル（下の図の赤線）は過去の売上データのみを参照して週ごとのパターンを未来へ投影しますが、特定の日に実施される予定のプロモーションについては一切考慮できません。一方、TimesFM-3 の多変量モード（下の図の青線）は異なるアプローチを採用しています。過去から未来にかけての変数としてプロモーションスケジュールを入力することで、モデルは過去の文脈から「プロモーションと売上の増加」の関係性を学習し、その知見を将来のプロモーション実施日に適用します。

その結果、各プロモーション日には約 20% の売上増が見込まれるという予測が得られます。下のチャートでは、プロモーション変数のアンバー色のブロックがプロモーション実施日を強調表示しており、青い予測線はこれら一つひとつに対して明確に反応しています。一方、赤い予測線にはその反応が見られません。

このように、1 ヶ月全体を通じて見ると、より正確な収益予測が可能になります。

評価とベンチマーク

TimesFM-3 を、Gift-Eval、FEV-Bench、TIME リーダーボードの 3 つの包括的な公開予測ベンチマークで評価しました。すべてのベンチマークにおいて、TimesFM-3 は事前学習済みファウンデーションモデルの中で、点予測および確率予測の両方の指標で最高ランクを獲得しています。

以下のグラフは、3 つのベンチマークにおけるタスクごとの平均順位（数値が低いほど優れている）を示しており、点予測の精度と確率予測の品質を比較しています。比較対象には、Chronos-2 や Toto 2.0 ファミリーなど多変量対応モデルを含む最新のファウンデーションモデル、および当社の前世代モデルである TimesFM-2.5 を含めています。

各グラフには TimesFM-3 の結果が 2 つ記載されています。1 つ目は「単一変数モード」で、これは共変量や系列間の情報を一切使用せず、従来の単一変数モデルのように各ターゲット系列を独立して評価した場合の性能を示しています。この単一変数モードでも、TimesFM-3 は競合他社モデルと同等かそれ以上の性能を発揮します。

次に、完全な多変量モードに切り替えると、TimesFM-3 はさらに飛躍的な進歩を遂げ、点予測および確率予測のすべての分野で最高の平均順位を達成しました。

結論

私たちは、ゼロショット時系列ファウンデーションモデル「TimesFM」の最新世代である TimesFM-3 を発表しました。このモデルは、複数の公開ベンチマークにおいて、多変量・単変量の両方で最良の予測性能を達成しています。

TimesFM-3 は現在、GitHub と Hugging Face で利用可能です。BigQuery への統合機能も今後数週間で提供開始されます。

それまでの間、単変量タスクには TimesFM-2.5 をすぐに試すことができます。機械学習の専門知識がなくても、BigQuery の AI.FORECAST コマンドを使って簡単に利用可能です。

謝辞

本プロジェクトは、Yichen Zhou 氏、Petros Mol 氏、Abhimanyu Das 氏、Samet Oymak 氏との共同研究です。