不確実性を意識した連想記憶「Kalman Delta Networks」を提案

記事の3ポイント

1. 1

   不確実性追跡によるメモリ更新の最適化

   従来のデルタ則モデルは記憶の不確実性を追跡できないが、本研究では線形ガウス状態空間モデルとして再定式化し、カルマンゲインを用いて累積証拠と観測信頼度に基づき書き込みを重み付けする。

2. 2

   GPU並列処理に適合した2つの近似手法

   厳密な追跡は計算コストが高いため、対角ガウス分布への射影を行う「Diagonal KDN」と、ヘッドごとに不確実性スカラーを用いる「Isotropic KDN」の2つのスキャン互換近似を導入し、対数並列深さを実現した。

3. 3

   大規模事前学習での性能向上の実証

   750Mおよび1.3Bパラメータのモデルで制御された事前学習を行い、KDNの各バリアントが最先端の線形アテンションモデルと比較してパープレキシティと平均ダウンストリーム精度を一貫して改善したことを確認した。