サカナAIが逆伝播なしで学習する新手法を発表

深層学習の主流は誤差逆伝播法（バックプロパゲーション）ですが、脳が実際に利用しているメカニズムとは異なる可能性があります。具体的には、逆伝播では順伝播の重み行列の厳密な転置が必要となります。これが「重みの輸送問題」と呼ばれる課題です。

Sakana AI が発表した新しい論文『Diffusing Blame』は、この制約に正面から取り組んでいます。研究チームは、ヘイリー則（Dale's principle）に従いながら、重みの輸送を一切行わないネットワークの学習を実現しました。

エラー拡散とは何か？

エラー拡散（Error Diffusion: ED）は、Kaneko 氏によって 2000 年に初めて提案された局所的な学習則です。各重みの更新には、たった 3 つの信号しか必要ありません。それは「シナプス前活動」「シナプス後活性化の微分値」、そして「単一のグローバル誤差の符号」です。その結果、ED は転置した順伝播の重みを輸送することも、ランダムなフィードバック行列を使用することもありません。この局所性により、ED はヘイリー則と自然に親和性を持ちます。

ただし、これまでの研究では ED の適用は二値分類や MNIST データセットに限られていました。

双ストリームアーキテクチャ

その制約を満たすため、研究チームは各層を 2 つのストリームに分けました。一方が興奮性（p）、他方が抑制性（n）です。順伝播では、各ストリームの活性化値を「興奮性マイナス抑制性」として計算します。

p_i = φ_i( +p_{i-1} Wpp  − n_{i-1} Wnp  + bp )
n_i = φ_i( +n_{i-1} Wnn  − p_{i-1} Wpn  + bn )

このアーキテクチャにより、重みの非対称性を回避しつつ、生物学的に妥当な学習ルールを実現しています。

ここで、4 つの重み行列はすべて要素ごとに非負値に保たれます。ただしバイアス項 bp と bn は例外で、これらは非負である必要はありません。また、Wnp と Wpn の前にあるマイナス記号は構造的なものであり、学習によって得られるものではありません。このため、ストリーム間の接続は常に抑制的に働きながら、学習可能な重みはすべて非負値のまま維持されます。

この設計では層ごとに 4 つの重みサブ行列が必要となるため、結果として単一ストリームのネットワークに比べて約 4 倍のパラメータ数が必要になります。同じアーキテクチャを比較した場合、DFA の約 800 万に対して本手法は約 3,200 万パラメータとなります。

Modulo Error Routing（剰余誤差ルーティング）

このアーキテクチャを基盤として、主な拡張機能として「Modulo Error Routing」が導入されます。これにより、Error Diffusion（ED）は二値分類の枠を超えて応用可能になります。

隠れユニット i に対して、研究チームはルーティング r(i) = i mod C を定義します。ここで C は出力次元です。各ユニットは、このように割り当てられた誤差成分から学習を行います。つまり、各隠れユニットには固定された 1 つの出力チャネルが割り当てられることになります。

DFA がランダムなフィードバック行列を使用するのに対し、ED ではこのような構造的な対応関係を利用します。

3 つの分類手法における革新

このルーティングを基盤に、研究チームは多クラス分類のための 3 つの改良点を追加しました。

各層のシグモイド幅は φi(z) = 1/(1 + e−2z/αi) で定義されます。シグモイドの微分が誤差信号を直接ゲートするため、減衰が著しくなります。実際、事後分析では出力から最初の隠れ層にかけて 25 倍もの減衰が生じていることが明らかになりました。シグモイド幅を広げることで微分值を大きく保ち、早期の飽和を防ぎます。チームは CIFAR-10 の畳み込み層に α = 3.0、全結合層には α = 6.0 を設定しています。

バッチ中心のクラス誤差では、各クラスのミニバッチ平均値を差し引きます。これにより、すべてのクラスにおいてバッチ全体でワン・アット・オール（one-vs-all）方式の誤差がゼロ平均になります。その結果、9:1 のターゲット不均衡によって引き起こされる持続的な抑制が軽減されます。

非対称初期化では、興奮性重みは 1.5 倍に、抑制性重みは 0.5 倍にスケーリングします。これにより期待される E/I（興奮/抑制）スケール比は 3:1 となり、出力層のみが対称性を保つ構成になります。

パフォーマンス

これら3 つの革新をすべて取り入れた Error Diffusion (ED) は、MNIST で 96.7%、CIFAR-10 で 61.7% の精度を達成しました。一方、これらの改良を加えない Seed ED では、両タスクとも精度が急落し、それぞれ 50.4% と 11.6% にまで低下します。

DFA は両タスクでより高いスコアを出しますが、デールの原理（Dale's principle）に違反しており、約 284 万個の負の重みを使用しています。特筆すべきは、これが ED を用いて畳み込みニューラルネットワーク（CNN）を訓練した初の事例だということです。以前、Fujita (2026) は平坦化された MLP を用いて CIFAR-10 で約 55.2% の精度を達成していましたが、それでも 61.7% という結果は、標準的な勾配ベースの手法には遠く及びません。

アブレーション解析の結果の逆転

興味深いことに、各改良点の重要性はタスクによって逆転します。MNIST では層ごとの幅を除去すると致命的な打撃となり（−71.4 ポイント）、精度が偶然レベルまで崩壊します。一方、バッチ中心化はそのような影響を与えません（−0.3 ポイント）。しかし CIFAR-10 では順序が逆転し、バッチ中心化された誤差を除去した際に最大の低下（−47.9 ポイント）が見られ、5 つのシードのうち 4 つで崩壊します。この逆転現象は、単一のベンチマーク評価では見えないタスク依存型の信用配分（credit-assignment）のボトルネックを浮き彫りにしています。

強化学習における Error Diffusion

分類タスクだけでなく、研究チームは誤差拡散（ED）を近傍政策最適化（PPO）と組み合わせました。この手法を「ED-PPO」と名付け、Brax の歩行シミュレーションや Craftax でテストしています。

ここでは、ポリシー出力の誤差が出力チャネルを通じて隠れ層にルーティングされます。スカラー値ネットワークの場合、誤差はすべてのユニットへブロードキャストされます。重要なのは、ED-PPO が分類タスク向けに導入された 3 つの改良点をすべて排除している点です。

5 つのシード（乱数初期値）での評価結果、ED-PPO は HalfCheetah で BP-PPO を上回りました（5494 vs 3520; p < 0.001）。また DFA-PPO と同等の性能を示しています。Ant タスクでは両者の PPO バリアントと互角の結果でした。一方、Craftax では DFA-PPO が最も弱く（19.8）、BP-PPO（27.0）に劣りました。つまり、分類タスクには十分だったランダムフィードバックでも、オープンエンドな強化学習では機能しない可能性があります。

使用例と具体例

この手法の具体的な利点は、以下の 3 つの設定で明確になります。

• ニューロモルフィックおよびフォトニックハードウェア: これらのハードウェアは物理的に非負のシナプス結合強度をエンコードしていることが多く、ED の固定符号によるルーティングがそのまま適用できます。これは既存のフォトニック DFA 研究を補完するものです。
• 非負制約によるスパース化: 学習後、重みの 37.3% が下限値（10⁻⁴）に収束します。特に抑制的なクロスストリームの完全結合接続が最も多く剪定され、最大 68.8% に達しました。この暗黙的なスパース性は、「無料で」モデル圧縮が可能であることを示唆しています。
• 継続学習への寄与: 専用の抑制ストリームは、継続的学習やオープンエンドな学習を支援する可能性があります。これは大きな勾配の振れ幅を抑制するための構造的メカニズムを提供します。

比較

Sakana AI のエラー拡散法、バックプロパゲーションなしで MNIST 96.7%・CIFAR-10 61.7% を達成

Sakana AI が発表した新しい学習手法「エラー拡散（Error Diffusion）」は、従来の逆伝播（バックプロパゲーション）に依存しないアプローチとして注目されています。この手法は、Dale の法則（興奮性ニューロンと抑制性ニューロンのバランスを保つという生物学的な制約）に準拠した双ストリームネットワークのトレーニングを可能にし、バックプロパゲーションなしで MNIST で 96.7%、CIFAR-10 で 61.7% の精度を達成しました。

従来の深層学習モデルは、誤差逆伝播法（バックプロパゲーション）によって重みを調整してきました。しかし、この手法は生物の脳が持つ学習メカニズムとは大きく異なると指摘されています。Sakana AI の研究チームは、より生物学的に妥当な学習プロセスを模倣する「エラー拡散」アプローチを開発しました。

この手法では、ネットワーク内の各層で予測誤差を計算し、その誤差情報を下流から上流へ伝播させることで重みを更新します。これにより、バックプロパゲーションのような中央集権的な誤差信号の伝達ではなく、局所的な学習ルールに基づいた分散型の調整が可能になります。

実験結果と性能評価

Sakana AI の研究チームは、エラー拡散法を用いて双ストリームネットワークをトレーニングしました。その結果、バックプロパゲーションなしで MNIST データセットにおいて 96.7%、CIFAR-10 データセットでは 61.7% の精度を達成することに成功しました。

これらの数値は、バックプロパゲーションを使用しない学習手法としては非常に高いパフォーマンスを示しています。特に CIFAR-10 のような複雑な画像認識タスクにおいて、この精度を達成したことは画期的です。

双ストリームネットワークと Dale の法則

本研究で採用された双ストリームネットワークは、興奮性ニューロンと抑制性ニューロンのバランスを保つ「Dale の法則」に準拠しています。これは、生物の脳が持つ基本的な構造を模倣した設計です。

従来の深層学習モデルでは、すべてのニューロンが同じ役割を果たすことが一般的でしたが、この手法では興奮性と抑制性の役割を明確に分離し、それぞれのストリームで異なる機能を担うように設計されています。これにより、より安定した学習プロセスと、生物学的な妥当性を両立させることに成功しました。

エラー拡散法の仕組み

エラー拡散法は、各層での予測誤差を計算し、その情報を下流から上流へ伝播させることで重みを更新します。このプロセスでは、中央集権的な誤差信号の伝達ではなく、局所的な学習ルールに基づいた分散型の調整が行われます。

具体的には、入力データがネットワークを通過する際に各層で予測値と正解値の誤差を計算し、その誤差情報を逆方向に伝播させます。この際、バックプロパゲーションのような重みの直接更新ではなく、局所的な学習ルールに基づいて重みを調整します。

今後の展望と課題

Sakana AI の研究チームは、エラー拡散法のさらなる発展を目指しています。今後は、より大規模なデータセットや複雑なタスクでの検証、および他の生物学的に妥当な学習メカニズムとの組み合わせによる性能向上が期待されます。

また、この手法の応用範囲を広げるため、自然言語処理や音声認識などの分野でも実験が行われる予定です。バックプロパゲーションに依存しない新しい学習パラダイムとして、深層学習の未来を切り開く可能性を秘めています。

技術的な詳細

エラー拡散法の技術的な詳細については、以下のコードスニペットで確認できます。

このコードは、エラー拡散法の実装における重要な部分を抜粋したものです。各層での誤差計算と伝播のプロセスが明確に示されています。

結論

Sakana AI の「エラー拡散」アプローチは、バックプロパゲーションに依存しない新しい学習手法として注目されています。Dale の法則に準拠した双ストリームネットワークのトレーニングを可能にし、MNIST や CIFAR-10 といったデータセットで高い精度を達成しました。

この研究は、生物学的な妥当性と計算効率の両立を目指す深層学習の新たな方向性を示すものとして、今後の技術発展に大きな影響を与える可能性があります。

Dale 則準拠型誤差拡散法の比較

提案手法と、他の逆伝播不要・生物学的学習規則との比較です。「Dale 則準拠」とは、興奮性と抑制性のニューロン群を分離し、重みを非負値に制限するルールを指します。各手法名には主要な論文へのリンクが付いています。

この表は、各手法が生物学的に妥当な制約（Dale の法則）を満たすか、重みの転送を必要としないかなどの特徴を明確に示しています。提案された誤差拡散法は、逆伝播の代わりにエラー符号を直接ルーティングすることで、効率的かつ生物学的に実現可能な学習を実現しています。

直接フィードバックアライメント（DFA）

固定されたランダム行列を介して、各隠れ層へ出力誤差を送信する。ランダム符号フィードバック（約 284 万個の負の重み）を採用しており、これは「いいえ」という条件に該当します。DFA-PPO を使用することで、畳み込みニューラルネットワークやトランスフォーマーへのスケーリングが可能となり、MNIST で 97.6%、CIFAR-10 で 69.1% の精度を達成しました。ただし、Craftax においては最も弱い結果となりました。

デールの ANN（DANNs）

バックプロパゲーションを用いて訓練されます。これは「いいえ」の条件に該当します。E/I（興奮性/抑制性）の個体群を分離して扱っており、「はい」という条件を満たしています。標準的な ANN と同等の性能を教師ありタスクで発揮しますが、詳細な数値は示されていません。

予測符号化

「はい」の条件に該当します。ヒッビアンの局所的予測誤差ユニットを採用しており、ランダム符号フィードバックは強制されません。教師ありタスクにおいてバックプロパゲーションを近似する能力を持ちますが、詳細な数値は示されていません。

樹状突起皮質微小回路

「はい」の条件に該当します。局所的な樹状突起予測誤差を利用しますが、ランダム符号フィードバックは強制されません。バックプロパゲーションを近似し、小規模なタスクにおいて有効です。詳細な数値は示されていません。

進化戦略（ES）

「はい」の条件に該当します。ブラックボックスによるパラメータ摂動と報酬を用い、層ごとの誤差は使用しません。ランダム符号フィードバックは強制されません。勾配フリーでありながら、パラメータ数が増えるとスケーリングが困難になるという課題があります。

オリジナルのエラー拡散

「はい」の条件に該当します。グローバルな誤差符号と局所的な更新（バイナリ）を採用しており、自然にデール則に従います。ランダム符号フィードバックは適用されません。バイナリ分類タスクにおいて、平坦化された MLP で CIFAR-10 の約 55.2% を達成しました。

取り上げられた要点：バックプロパゲーションなしの学習則の多くはデールの原理を緩和しており、デール準拠のネットワークでも依然としてバックプロパゲーションに依存しているケースが大半です。しかし「エラー拡散（Error Diffusion）」はこの両方を同時に満たす初の手法であり、さらに強化学習の文脈へとこの組み合わせを持ち込んだ点に意義があります。

比較データは Marktechpost が作成し、手法は Sakana AI の「Diffusing Blame」（Yamada 他，2026）に基づいています。

最小限の実装スニペット

数式は、簡潔で示唆に富む更新ループとして表現できます：

主要なポイント

Sakana AI の「エラー拡散」は、重みの伝達やランダムなフィードバック行列を必要とせず、デールの原理を満たす双ストリームネットワークの学習を実現しました。

モジュロ演算を用いた誤差ルーティング（r(i) = i mod C）を導入したことで、この手法は二値分類の枠を超え、MNIST で 96.7%、CIFAR-10 で 61.7% の精度を達成しました。

MNIST と CIFAR-10 では、3 つの分類手法の重要性が逆転します。これはタスクごとに信用配分（クレジットアサインメント）にボトルネックが生じていることを示しています。

ED-PPO は同じアーキテクチャを強化学習にも適用し、Brax 環境では DFA-PPO と同等のパフォーマンスを発揮し、Craftax 環境ではそれを上回りました。

Dale の原理（非負の重み制約）を採用することで、分類タスクにおける DFA に対して 0.9〜7.4 ポイントの性能低下が生じます。これは、非負の重みという制約が課すコストを定量化した結果です。

（※本記事は MarkTechPost に掲載された「Sakana AI's Error Diffusion Trains Dale-Compliant Dual-Stream Networks, Reaching 96.7% MNIST and 61.7% CIFAR-10 Without Backpropagation」の翻訳です）