サカナAIが逆伝播なしで学習する新手法を発表

記事の3ポイント

1. 1

   逆伝播不要の学習ルール「Error Diffusion」の実現

   Sakana AI は事前活動、後部活動微分、単一のグローバル誤差シグナルのみを用いる局所的な学習規則である Error Diffusion を採用し、重み輸送問題を回避する。

2. 2

   Dale の法則に準拠した双ストリームアーキテクチャ

   各層を興奮性ストリームと抑制性ストリームの 2 つに分け、すべての学習可能重みを非負値に制限することで生物学的な制約を満たす設計を採用した。

3. 3

   多クラス分類への拡張技術「Modulo Error Routing」

   隠れユニットを出力チャネルにマッピングする構造的対応関係を導入し、従来のバイナリ分類や MNIST 限定の枠を超えて CIFAR-10 などの複雑なタスクに対応可能にした。