AutoBNN：構成可能なベイジアンニューラルネットワークを用いた確率的時系列予測

Posted by Urs Köster, Software Engineer, Google Research

時系列 問題は遍在しており、天気や交通パターンの予測から経済動向の理解に至るまで多岐にわたります。 ベイジアン アプローチは、データのパターンに関する仮定（事前確率）から始まり、証拠（例：新しい時系列データ）を収集し、その仮定を継続的に更新して事後確率分布を形成します。 ガウス過程 （GPs）や 構造的時系列モデル のような伝統的なベイジアン手法は、一般的に使用される マウナロアCO2 データセットなど、時系列データのモデリングに広く用いられています。しかし、これらの手法は多くの場合、適切なモデルコンポーネントを苦心して選択するドメイン専門家に依存しており、計算コストが高くなる可能性があります。ニューラルネットワークのような代替手法は解釈可能性に欠け、どのように予測を生成しているのかを理解することが難しく、信頼性の高い信頼区間も生成しません。

この目的のために、私たちは AutoBNN を紹介します。これは JAX で書かれた新しいオープンソースパッケージです。AutoBNNは、解釈可能な時系列予測モデルの発見を自動化し、高品質な不確実性の推定値を提供し、大規模データセットでの使用に効果的にスケールします。AutoBNNが、従来の確率的アプローチの解釈可能性と、ニューラルネットワークのスケーラビリティおよび柔軟性をどのように組み合わせるかを説明します。

AutoBNN

AutoBNNは、過去10年にわたって学習された カーネル 構造を持つGPsを使用して時系列をモデリングすることで、予測精度の向上をもたらしてきた 一連の 研究 成果 に基づいています。GPのカーネル関数は、トレンド、周期性、ノイズの存在など、モデル化される関数に関する仮定を符号化します。学習されたGPカーネルでは、カーネル関数は合成的に定義されます：それは、基本カーネル（ Linear 、 Quadratic 、 Periodic 、 Matérn 、または ExponentiatedQuadratic ）であるか、あるいは Addition 、 Multiplication 、 ChangePoint のような演算子を使用して2つ以上のカーネル関数を組み合わせた複合体です。この合成的カーネル構造には、2つの関連する目的があります。第一に、GPについては必ずしも専門家ではないが、自身のデータについては専門知識を持つユーザーが、自身の時系列に対して合理的な事前分布を構築できるほど十分に単純であることです。第二に、 逐次モンテカルロ法 のような技術を小さな構造に対する離散的な探索に使用し、解釈可能な結果を出力できることです。

AutoBNNはこれらのアイデアを改良し、GPを ベイジアンニューラルネットワーク （BNNs）に置き換えながら、合成的カーネル構造を保持しています。BNNは、固定された重みのセットではなく、重みに対する確率分布を持つニューラルネットワークです。これにより出力の分布が誘導され、予測における不確実性が捕捉されます。BNNは、GPと比較して以下の利点をもたらします：第一に、大規模なGPの訓練は計算コストが高く、従来の訓練アルゴリズムは時系列のデータ点数に対して3乗でスケールします。対照的に、固定幅のBNNの訓練は、多くの場合、データ点数に対してほぼ線形になります。第二に、BNNはGPUや TPU ハードウェアアクセラレーションにより適しています。

AutoBNN：構成可能なベイジアンニューラルネットワークを用いた確率的時系列予測

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト