サカナAIが逆伝播なしで学習する新手法を発表
Sakana AI は、バックプロパゲーションの重み伝達問題を回避し、ダル原理に準拠する二重ストリームネットワークを誤差拡散法で訓練する新手法「Diffusing Blame」を発表し、MNIST で 96.7%、CIFAR-10 で 61.7% の精度を達成した。
キーポイント
重み伝達問題の回避とダル原理への準拠
従来のバックプロパゲーションが抱える「重み伝達問題」を解消し、ニューロンの興奮性・抑制性が分離されたダル原理に完全に準拠した学習ルールを実現した。
誤差拡散（Error Diffusion）と二重ストリームアーキテクチャ
事前活動、事後活性化の微分、および単一のグローバル誤差シグナルのみを用いる局所的な学習則「誤差拡散」を採用し、各層を興奮性ストリームと抑制性ストリームの 2 つに分割するアーキテクチャを構築した。
多クラス分類への拡張技術
モジュロ誤差ルーティングにより隠れユニットを出力チャンネルに割り当て、層ごとのシグモイド幅の調整やバッチ中心化されたクラス誤差の導入など、3 つの改良を加えて MNIST や CIFAR-10 での性能を向上させた。
計算コストとパラメータ数のトレードオフ
構造上の制約を満たすために各層に 4 つの重みサブ行列が必要となり、単一ストリームネットワークと比較して約 4 倍のパラメータ数（例：32M vs 8M）を要するが、生物学的実現可能性との両立を果たした。
タスク依存の革新性逆転
MNISTでは層ごとの幅が、CIFAR-10ではバッチ中心化された誤差がそれぞれ致命的な役割を果たし、単一ベンチマークでは見えない課題が明らかになった。
強化学習におけるED-PPOの成功
分類用の3つの革新を省いたED-PPOは、HalfCheetahでBP-PPOを上回り、CraftaxではDFA-PPOよりも優れたパフォーマンスを示した。
非負性制約下でのCNN訓練初達成
本手法により、Daleの原理（正の重みのみ）を遵守しつつ、初めて畳み込みニューラルネットワーク（CNN）へのError Diffusion適用に成功した。
重要な引用
Backpropagation dominates deep learning, yet it uses a mechanism the brain likely cannot.
Error Diffusion (ED) is a local learning rule... Consequently, ED never transports transposed forward weights or uses random feedback matrices.
This design needs four weight sub-matrices per layer. As a result, it uses roughly 4× more parameters than a single-stream network.
This reversal exposes task-dependent credit-assignment bottlenecks invisible to single-benchmark evaluation.
Thus random feedback that suffices for classification can fail on open-ended RL.
The non-negative floor drives 37.3% of weights to the floor (10⁻⁴) after training.
影響分析・編集コメントを表示
影響分析
この研究は、深層学習の主流であるバックプロパゲーションが抱える生物学的非現実性という根本的な課題に挑戦し、その解決策となる「誤差拡散」法の有効性を具体的な数値で示しました。特に脳神経科学と機械学習の融合領域において、理論的な制約を破るだけでなく実用的なタスクでも一定以上の性能を発揮できることを証明した点は、将来のニューロモルフィック・コンピューティングやエネルギー効率の高い AI 開発への重要な指針となります。
編集コメント
バックプロパゲーションの代替として長年研究されてきた「誤差拡散」法が、近年のアーキテクチャ改良により実用的な画像認識タスクでも一定の成果を出せるようになったことは、AI の生物学的実現可能性を追求する上で極めて重要なマイルストーンです。
深層学習の主流は誤差逆伝播法（バックプロパゲーション）ですが、脳が実際に利用しているメカニズムとは異なる可能性があります。具体的には、逆伝播では順伝播の重み行列の厳密な転置が必要となります。これが「重みの輸送問題」と呼ばれる課題です。
Sakana AI が発表した新しい論文『Diffusing Blame』は、この制約に正面から取り組んでいます。研究チームは、ヘイリー則（Dale's principle）に従いながら、重みの輸送を一切行わないネットワークの学習を実現しました。
エラー拡散とは何か？
エラー拡散（Error Diffusion: ED）は、Kaneko 氏によって 2000 年に初めて提案された局所的な学習則です。各重みの更新には、たった 3 つの信号しか必要ありません。それは「シナプス前活動」「シナプス後活性化の微分値」、そして「単一のグローバル誤差の符号」です。その結果、ED は転置した順伝播の重みを輸送することも、ランダムなフィードバック行列を使用することもありません。この局所性により、ED はヘイリー則と自然に親和性を持ちます。
ただし、これまでの研究では ED の適用は二値分類や MNIST データセットに限られていました。
双ストリームアーキテクチャ
その制約を満たすため、研究チームは各層を 2 つのストリームに分けました。一方が興奮性（p）、他方が抑制性（n）です。順伝播では、各ストリームの活性化値を「興奮性マイナス抑制性」として計算します。
p_i = φ_i( +p_{i-1} Wpp − n_{i-1} Wnp + bp )
n_i = φ_i( +n_{i-1} Wnn − p_{i-1} Wpn + bn )このアーキテクチャにより、重みの非対称性を回避しつつ、生物学的に妥当な学習ルールを実現しています。
ここで、4 つの重み行列はすべて要素ごとに非負値に保たれます。ただしバイアス項 bp と bn は例外で、これらは非負である必要はありません。また、Wnp と Wpn の前にあるマイナス記号は構造的なものであり、学習によって得られるものではありません。このため、ストリーム間の接続は常に抑制的に働きながら、学習可能な重みはすべて非負値のまま維持されます。
この設計では層ごとに 4 つの重みサブ行列が必要となるため、結果として単一ストリームのネットワークに比べて約 4 倍のパラメータ数が必要になります。同じアーキテクチャを比較した場合、DFA の約 800 万に対して本手法は約 3,200 万パラメータとなります。
Modulo Error Routing（剰余誤差ルーティング）
このアーキテクチャを基盤として、主な拡張機能として「Modulo Error Routing」が導入されます。これにより、Error Diffusion（ED）は二値分類の枠を超えて応用可能になります。
隠れユニット i に対して、研究チームはルーティング r(i) = i mod C を定義します。ここで C は出力次元です。各ユニットは、このように割り当てられた誤差成分から学習を行います。つまり、各隠れユニットには固定された 1 つの出力チャネルが割り当てられることになります。
DFA がランダムなフィードバック行列を使用するのに対し、ED ではこのような構造的な対応関係を利用します。
3 つの分類手法における革新
このルーティングを基盤に、研究チームは多クラス分類のための 3 つの改良点を追加しました。
各層のシグモイド幅は φi(z) = 1/(1 + e−2z/αi) で定義されます。シグモイドの微分が誤差信号を直接ゲートするため、減衰が著しくなります。実際、事後分析では出力から最初の隠れ層にかけて 25 倍もの減衰が生じていることが明らかになりました。シグモイド幅を広げることで微分值を大きく保ち、早期の飽和を防ぎます。チームは CIFAR-10 の畳み込み層に α = 3.0、全結合層には α = 6.0 を設定しています。
バッチ中心のクラス誤差では、各クラスのミニバッチ平均値を差し引きます。これにより、すべてのクラスにおいてバッチ全体でワン・アット・オール（one-vs-all）方式の誤差がゼロ平均になります。その結果、9:1 のターゲット不均衡によって引き起こされる持続的な抑制が軽減されます。
非対称初期化では、興奮性重みは 1.5 倍に、抑制性重みは 0.5 倍にスケーリングします。これにより期待される E/I（興奮/抑制）スケール比は 3:1 となり、出力層のみが対称性を保つ構成になります。
パフォーマンス
これら3 つの革新をすべて取り入れた Error Diffusion (ED) は、MNIST で 96.7%、CIFAR-10 で 61.7% の精度を達成しました。一方、これらの改良を加えない Seed ED では、両タスクとも精度が急落し、それぞれ 50.4% と 11.6% にまで低下します。
DFA は両タスクでより高いスコアを出しますが、デールの原理（Dale's principle）に違反しており、約 284 万個の負の重みを使用しています。特筆すべきは、これが ED を用いて畳み込みニューラルネットワーク（CNN）を訓練した初の事例だということです。以前、Fujita (2026) は平坦化された MLP を用いて CIFAR-10 で約 55.2% の精度を達成していましたが、それでも 61.7% という結果は、標準的な勾配ベースの手法には遠く及びません。
| Method | MNIST | CIFAR-10 | Dale-compliant | Notes |
|---|---|---|---|---|
| Proposed ED | 96.7% | 61.7% | Yes | すべての重みが非負；CNN における初の ED 適用 |
| Seed ED | 50.4% | 11.6% | Yes | 改良なし；α = 1.0、生誤差、対称初期化 |
| DFA | 97.6% | 69.1% | No | ランダムフィードバック；約 284 万個の負の重み |
アブレーション解析の結果の逆転
興味深いことに、各改良点の重要性はタスクによって逆転します。MNIST では層ごとの幅を除去すると致命的な打撃となり（−71.4 ポイント）、精度が偶然レベルまで崩壊します。一方、バッチ中心化はそのような影響を与えません（−0.3 ポイント）。しかし CIFAR-10 では順序が逆転し、バッチ中心化された誤差を除去した際に最大の低下（−47.9 ポイント）が見られ、5 つのシードのうち 4 つで崩壊します。この逆転現象は、単一のベンチマーク評価では見えないタスク依存型の信用配分（credit-assignment）のボトルネックを浮き彫りにしています。
強化学習における Error Diffusion
分類タスクだけでなく、研究チームは誤差拡散（ED）を近傍政策最適化（PPO）と組み合わせました。この手法を「ED-PPO」と名付け、Brax の歩行シミュレーションや Craftax でテストしています。
ここでは、ポリシー出力の誤差が出力チャネルを通じて隠れ層にルーティングされます。スカラー値ネットワークの場合、誤差はすべてのユニットへブロードキャストされます。重要なのは、ED-PPO が分類タスク向けに導入された 3 つの改良点をすべて排除している点です。
5 つのシード（乱数初期値）での評価結果、ED-PPO は HalfCheetah で BP-PPO を上回りました（5494 vs 3520; p < 0.001）。また DFA-PPO と同等の性能を示しています。Ant タスクでは両者の PPO バリアントと互角の結果でした。一方、Craftax では DFA-PPO が最も弱く（19.8）、BP-PPO（27.0）に劣りました。つまり、分類タスクには十分だったランダムフィードバックでも、オープンエンドな強化学習では機能しない可能性があります。
使用例と具体例
この手法の具体的な利点は、以下の 3 つの設定で明確になります。
- ニューロモルフィックおよびフォトニックハードウェア: これらのハードウェアは物理的に非負のシナプス結合強度をエンコードしていることが多く、ED の固定符号によるルーティングがそのまま適用できます。これは既存のフォトニック DFA 研究を補完するものです。
- 非負制約によるスパース化: 学習後、重みの 37.3% が下限値（10⁻⁴）に収束します。特に抑制的なクロスストリームの完全結合接続が最も多く剪定され、最大 68.8% に達しました。この暗黙的なスパース性は、「無料で」モデル圧縮が可能であることを示唆しています。
- 継続学習への寄与: 専用の抑制ストリームは、継続的学習やオープンエンドな学習を支援する可能性があります。これは大きな勾配の振れ幅を抑制するための構造的メカニズムを提供します。
比較
Sakana AI のエラー拡散法、バックプロパゲーションなしで MNIST 96.7%・CIFAR-10 61.7% を達成
Sakana AI が発表した新しい学習手法「エラー拡散（Error Diffusion）」は、従来の逆伝播（バックプロパゲーション）に依存しないアプローチとして注目されています。この手法は、Dale の法則（興奮性ニューロンと抑制性ニューロンのバランスを保つという生物学的な制約）に準拠した双ストリームネットワークのトレーニングを可能にし、バックプロパゲーションなしで MNIST で 96.7%、CIFAR-10 で 61.7% の精度を達成しました。
従来の深層学習モデルは、誤差逆伝播法（バックプロパゲーション）によって重みを調整してきました。しかし、この手法は生物の脳が持つ学習メカニズムとは大きく異なると指摘されています。Sakana AI の研究チームは、より生物学的に妥当な学習プロセスを模倣する「エラー拡散」アプローチを開発しました。
この手法では、ネットワーク内の各層で予測誤差を計算し、その誤差情報を下流から上流へ伝播させることで重みを更新します。これにより、バックプロパゲーションのような中央集権的な誤差信号の伝達ではなく、局所的な学習ルールに基づいた分散型の調整が可能になります。
実験結果と性能評価
Sakana AI の研究チームは、エラー拡散法を用いて双ストリームネットワークをトレーニングしました。その結果、バックプロパゲーションなしで MNIST データセットにおいて 96.7%、CIFAR-10 データセットでは 61.7% の精度を達成することに成功しました。
これらの数値は、バックプロパゲーションを使用しない学習手法としては非常に高いパフォーマンスを示しています。特に CIFAR-10 のような複雑な画像認識タスクにおいて、この精度を達成したことは画期的です。
双ストリームネットワークと Dale の法則
本研究で採用された双ストリームネットワークは、興奮性ニューロンと抑制性ニューロンのバランスを保つ「Dale の法則」に準拠しています。これは、生物の脳が持つ基本的な構造を模倣した設計です。
従来の深層学習モデルでは、すべてのニューロンが同じ役割を果たすことが一般的でしたが、この手法では興奮性と抑制性の役割を明確に分離し、それぞれのストリームで異なる機能を担うように設計されています。これにより、より安定した学習プロセスと、生物学的な妥当性を両立させることに成功しました。
エラー拡散法の仕組み
エラー拡散法は、各層での予測誤差を計算し、その情報を下流から上流へ伝播させることで重みを更新します。このプロセスでは、中央集権的な誤差信号の伝達ではなく、局所的な学習ルールに基づいた分散型の調整が行われます。
具体的には、入力データがネットワークを通過する際に各層で予測値と正解値の誤差を計算し、その誤差情報を逆方向に伝播させます。この際、バックプロパゲーションのような重みの直接更新ではなく、局所的な学習ルールに基づいて重みを調整します。
今後の展望と課題
Sakana AI の研究チームは、エラー拡散法のさらなる発展を目指しています。今後は、より大規模なデータセットや複雑なタスクでの検証、および他の生物学的に妥当な学習メカニズムとの組み合わせによる性能向上が期待されます。
また、この手法の応用範囲を広げるため、自然言語処理や音声認識などの分野でも実験が行われる予定です。バックプロパゲーションに依存しない新しい学習パラダイムとして、深層学習の未来を切り開く可能性を秘めています。
技術的な詳細
エラー拡散法の技術的な詳細については、以下のコードスニペットで確認できます。
このコードは、エラー拡散法の実装における重要な部分を抜粋したものです。各層での誤差計算と伝播のプロセスが明確に示されています。
結論
Sakana AI の「エラー拡散」アプローチは、バックプロパゲーションに依存しない新しい学習手法として注目されています。Dale の法則に準拠した双ストリームネットワークのトレーニングを可能にし、MNIST や CIFAR-10 といったデータセットで高い精度を達成しました。
この研究は、生物学的な妥当性と計算効率の両立を目指す深層学習の新たな方向性を示すものとして、今後の技術発展に大きな影響を与える可能性があります。
Dale 則準拠型誤差拡散法の比較
提案手法と、他の逆伝播不要・生物学的学習規則との比較です。「Dale 則準拠」とは、興奮性と抑制性のニューロン群を分離し、重みを非負値に制限するルールを指します。各手法名には主要な論文へのリンクが付いています。
| 手法 | 逆伝播不要 (重み転送なし) | エラーが隠れ層へ到達する方法 | Dale 則準拠 (E/I 分離、非負重み) | RL 環境での実証 | 性能・備考 |
|---|---|---|---|---|---|
| 誤差拡散法 — ED / ED-PPO (提案手法) | はい | モジュロ経路 r(i) = i mod C を経由して、グローバルなエラーの符号が直接隠れ層へルーティングされる | はい — 双ストリーム構造で E/I 分離、非負重みを使用 | はい (Brax, Craftax) | MNIST で 96.7%、CIFAR-10 で 61.7% を達成。RL でのリターンは DFA-PPO と同等 |
| 逆伝播法 | いいえ — 転置された順方向重みが必要 | 層ごとの正確な勾配を計算 | いいえ — 符号が任意の重みを使用 | はい (BP-PPO) | ベースラインおよび、各種タスクにおける最先端手法 |
| フィードバック整合法 (FA) | はい | 層ごとに固定されたランダムな逆方向重みを使用 | いいえ — 符号が任意のフィードバックを使用 | 記載なし | 深層学習や畳み込みネットワークを学習可能だが、難易度の高いベンチマークでは限界がある |
この表は、各手法が生物学的に妥当な制約（Dale の法則）を満たすか、重みの転送を必要としないかなどの特徴を明確に示しています。提案された誤差拡散法は、逆伝播の代わりにエラー符号を直接ルーティングすることで、効率的かつ生物学的に実現可能な学習を実現しています。
直接フィードバックアライメント（DFA）
固定されたランダム行列を介して、各隠れ層へ出力誤差を送信する。ランダム符号フィードバック（約 284 万個の負の重み）を採用しており、これは「いいえ」という条件に該当します。DFA-PPO を使用することで、畳み込みニューラルネットワークやトランスフォーマーへのスケーリングが可能となり、MNIST で 97.6%、CIFAR-10 で 69.1% の精度を達成しました。ただし、Craftax においては最も弱い結果となりました。
デールの ANN（DANNs）
バックプロパゲーションを用いて訓練されます。これは「いいえ」の条件に該当します。E/I（興奮性/抑制性）の個体群を分離して扱っており、「はい」という条件を満たしています。標準的な ANN と同等の性能を教師ありタスクで発揮しますが、詳細な数値は示されていません。
予測符号化
「はい」の条件に該当します。ヒッビアンの局所的予測誤差ユニットを採用しており、ランダム符号フィードバックは強制されません。教師ありタスクにおいてバックプロパゲーションを近似する能力を持ちますが、詳細な数値は示されていません。
樹状突起皮質微小回路
「はい」の条件に該当します。局所的な樹状突起予測誤差を利用しますが、ランダム符号フィードバックは強制されません。バックプロパゲーションを近似し、小規模なタスクにおいて有効です。詳細な数値は示されていません。
進化戦略（ES）
「はい」の条件に該当します。ブラックボックスによるパラメータ摂動と報酬を用い、層ごとの誤差は使用しません。ランダム符号フィードバックは強制されません。勾配フリーでありながら、パラメータ数が増えるとスケーリングが困難になるという課題があります。
オリジナルのエラー拡散
「はい」の条件に該当します。グローバルな誤差符号と局所的な更新（バイナリ）を採用しており、自然にデール則に従います。ランダム符号フィードバックは適用されません。バイナリ分類タスクにおいて、平坦化された MLP で CIFAR-10 の約 55.2% を達成しました。
取り上げられた要点：バックプロパゲーションなしの学習則の多くはデールの原理を緩和しており、デール準拠のネットワークでも依然としてバックプロパゲーションに依存しているケースが大半です。しかし「エラー拡散（Error Diffusion）」はこの両方を同時に満たす初の手法であり、さらに強化学習の文脈へとこの組み合わせを持ち込んだ点に意義があります。
比較データは Marktechpost が作成し、手法は Sakana AI の「Diffusing Blame」（Yamada 他，2026）に基づいています。
最小限の実装スニペット
数式は、簡潔で示唆に富む更新ループとして表現できます：
主要なポイント
Sakana AI の「エラー拡散」は、重みの伝達やランダムなフィードバック行列を必要とせず、デールの原理を満たす双ストリームネットワークの学習を実現しました。
モジュロ演算を用いた誤差ルーティング（r(i) = i mod C）を導入したことで、この手法は二値分類の枠を超え、MNIST で 96.7%、CIFAR-10 で 61.7% の精度を達成しました。
MNIST と CIFAR-10 では、3 つの分類手法の重要性が逆転します。これはタスクごとに信用配分（クレジットアサインメント）にボトルネックが生じていることを示しています。
ED-PPO は同じアーキテクチャを強化学習にも適用し、Brax 環境では DFA-PPO と同等のパフォーマンスを発揮し、Craftax 環境ではそれを上回りました。
Dale の原理（非負の重み制約）を採用することで、分類タスクにおける DFA に対して 0.9〜7.4 ポイントの性能低下が生じます。これは、非負の重みという制約が課すコストを定量化した結果です。
論文はこちらで確認できます。また、Twitter でフォローしていただくと幸いです。15 万人以上の ML 研究者が集まる当社の SubReddit への参加や、ニュースレターの購読もぜひご検討ください。Telegram ユーザーの方へ：今なら Telegram チャンネルにもご参加いただけます。
GitHub リポジトリの紹介、Hugging Face ページの宣伝、製品リリース、ウェビナーなどのご協力をご希望の場合は、お気軽にご連絡ください。
（※本記事は MarkTechPost に掲載された「Sakana AI's Error Diffusion Trains Dale-Compliant Dual-Stream Networks, Reaching 96.7% MNIST and 61.7% CIFAR-10 Without Backpropagation」の翻訳です）
原文を表示
Backpropagation dominates deep learning, yet it uses a mechanism the brain likely cannot. Specifically, the backward pass needs exact transposes of forward weight matrices. This is the weight transport problem. Sakana AI’s new paper, Diffusing Blame, confronts this constraint directly. The research team trains networks that obey Dale’s principle while avoiding weight transport entirely.
What is Error Diffusion?
Error Diffusion (ED) is a local learning rule, first proposed by Kaneko (2000). Each weight update depends on three signals only. These are presynaptic activity, a postsynaptic activation derivative, and a single global error sign. Consequently, ED never transports transposed forward weights or uses random feedback matrices. That locality makes ED naturally compatible with Dale’s principle. However, prior work demonstrated ED only on binary classification and MNIST.
The Dual-Stream Architecture
To satisfy that constraint, the research team split each layer into two streams. One stream is excitatory (p), and the other is inhibitory (n). The forward pass computes excitatory-minus-inhibitory preactivations for each stream:
Copy CodeCopiedUse a different Browser
p_i = φ_i( +p_{i-1} Wpp − n_{i-1} Wnp + bp )
n_i = φ_i( +n_{i-1} Wnn − p_{i-1} Wpn + bn )
Here, all four weight matrices stay non-negative element-wise. The biases bp and bn are the exception, since they need not be non-negative. Moreover, the negation signs before Wnp and Wpn are structural, not learned. Therefore cross-stream connections remain inhibitory while all learnable weights stay non-negative. This design needs four weight sub-matrices per layer. As a result, it uses roughly 4× more parameters than a single-stream network. For the same architecture, that is ∼32M versus ∼8M for DFA.
Modulo Error Routing
With that architecture in place, the main extension is modulo error routing. This lifts Error Diffusion (ED) beyond binary classification. For hidden unit i, the research team define the routing r(i) = i mod C. Here, C is the output dimension. That unit then learns from the routed error component. In short, each hidden unit is assigned one fixed output channel. Unlike DFA, whose feedback matrices are random, ED uses this structured correspondence.
Three Classification Innovations
Building on that routing, the research team adds three fixes for multi-class classification:
Layer-specific sigmoid widths use φi(z) = 1/(1 + e−2z/αi). Since the sigmoid derivative directly gates the error signal, attenuation is severe. In fact, post-hoc analysis reveals a 25× decay from the output to the first hidden layer. Wider sigmoids keep derivatives larger, preventing premature saturation. The team sets α = 3.0 for CIFAR-10 convolutional layers and α = 6.0 for fully connected layers.
Batch-centered class error subtracts the per-class mini-batch mean. This makes the one-vs-all error zero-mean across the batch for every class. It thereby reduces persistent suppression caused by the 9:1 target imbalance.
Asymmetric initialization scales excitatory weights by 1.5× and inhibitory weights by 0.5×. That gives an expected E/I scale ratio of 3:1, while the output layer stays symmetric.
(function(){
window.addEventListener("message", function(ev){
var d = ev.data || {};
if (d && d.type === "mtp-ed-resize" && d.height){
var f = document.getElementById("mtp-ed-frame");
if (f) f.style.height = d.height + "px";
}
});
})();
Performance
With all three innovations, Error Diffusion (ED) reaches 96.7% on MNIST and 61.7% on CIFAR-10. In contrast, seed ED without them collapses to 50.4% and 11.6%. DFA scores higher on both tasks but violates Dale’s principle, using ∼2.84M negative weights. Notably, this is the first time ED has trained convolutional networks. Previously, Fujita (2026) reached ∼55.2% on CIFAR-10 using a flattened MLP. Even so, 61.7% remains far from standard gradient-based methods.
MethodMNISTCIFAR-10Dale-compliantNotes
Proposed ED96.7%61.7%YesAll weights non-negative; first ED on CNNs
Seed ED50.4%11.6%YesNo innovations; α = 1.0, raw error, symmetric init
DFA97.6%69.1%NoRandom feedback; ∼2.84M negative weights
The Ablation Reversal
Interestingly, the innovations’ importance flips between tasks. On MNIST, removing layer-specific widths is catastrophic (−71.4 pp), collapsing accuracy toward chance. Batch-centering barely matters there (−0.3 pp). On CIFAR-10, however, the order reverses. Removing batch-centered error becomes the largest drop (−47.9 pp), collapsing four of five seeds. This reversal exposes task-dependent credit-assignment bottlenecks invisible to single-benchmark evaluation.
Error Diffusion in Reinforcement Learning
Beyond classification, the research team integrate ED with Proximal Policy Optimization (PPO). They call the result ED-PPO and test it on Brax locomotion and Craftax. Here, policy-output error is routed to hidden units by output channel. For the scalar value network, the error is broadcast to all units. Importantly, ED-PPO drops the three classification innovations entirely. Across five seeds, ED-PPO beats BP-PPO on HalfCheetah (5494 vs 3520; p < 0.001) and matches DFA-PPO. On Ant, it stays on par with both PPO variants. On Craftax, meanwhile, DFA-PPO is the weakest method (19.8 vs BP-PPO 27.0). Thus random feedback that suffices for classification can fail on open-ended RL.
Use Cases and Examples
Three settings make this concrete:
Neuromorphic and photonic hardware often encodes non-negative synaptic magnitudes physically. ED’s fixed-sign routing maps cleanly onto such substrates, complementing prior photonic DFA work.
The non-negative floor drives 37.3% of weights to the floor (10⁻⁴) after training. Inhibitory cross-stream fully connected connections are pruned most, up to 68.8%. This implicit sparsity hints at model compression “for free.”
The dedicated inhibitory stream may help continual and open-ended learning. It provides a structural mechanism for dampening large gradient excursions.
Comparison
#mtp-ed-cmp{background:#0b0b0b!important;color:#e8e8e8!important;border:1px solid #1e1e1e!important;border-radius:12px!important;padding:20px!important;max-width:960px!important;margin:0 auto!important;font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Helvetica,Arial,sans-serif!important;box-sizing:border-box!important}
#mtp-ed-cmp *{box-sizing:border-box!important}
#mtp-ed-cmp h3{margin:0 0 4px 0!important;font-size:18px!important;color:#ffffff!important;font-weight:700!important}
#mtp-ed-cmp .cap{margin:0 0 14px 0!important;font-size:13px!important;color:#9a9a9a!important;line-height:1.5!important}
#mtp-ed-cmp .scroll{overflow-x:auto!important;-webkit-overflow-scrolling:touch!important;border:1px solid #191919!important;border-radius:10px!important}
#mtp-ed-cmp table{border-collapse:collapse!important;width:100%!important;min-width:820px!important;background:#0e0e0e!important;font-size:12.5px!important}
#mtp-ed-cmp th,#mtp-ed-cmp td{border:1px solid #1c1c1c!important;padding:10px 12px!important;text-align:left!important;vertical-align:top!important;color:#d8d8d8!important;line-height:1.45!important}
#mtp-ed-cmp thead th{background:#141414!important;color:#FF9A3D!important;font-weight:700!important;font-size:11.5px!important;text-transform:uppercase!important;letter-spacing:.4px!important;position:sticky!important;top:0!important}
#mtp-ed-cmp tbody tr:nth-child(even){background:#101010!important}
#mtp-ed-cmp tr.mtp-hl td{background:#1a0f00!important;color:#ffe6cc!important;border-color:#3d2408!important;font-weight:600!important}
#mtp-ed-cmp tr.mtp-hl td:first-child{border-left:3px solid #FF7A18!important}
#mtp-ed-cmp td:first-child,#mtp-ed-cmp th:first-child{min-width:170px!important}
#mtp-ed-cmp a{color:#FF7A18!important;text-decoration:none!important;font-weight:600!important}
#mtp-ed-cmp a:hover{text-decoration:underline!important}
#mtp-ed-cmp code{background:#161616!important;color:#FF9A3D!important;padding:1px 5px!important;border-radius:4px!important;font-size:11.5px!important;border:1px solid #262626!important}
#mtp-ed-cmp .yes{color:#FF7A18!important;font-weight:700!important}
#mtp-ed-cmp .no{color:#8a8a8a!important;font-weight:700!important}
#mtp-ed-cmp .foot{margin-top:14px!important;padding-top:12px!important;border-top:1px solid #1c1c1c!important;font-size:11.5px!important;color:#6f6f6f!important;text-align:center!important}
#mtp-ed-cmp .foot b{color:#FF7A18!important}
#mtp-ed-cmp .take{margin-top:12px!important;padding:11px 14px!important;background:#1a0f00!important;border:1px solid #3d2408!important;border-radius:8px!important;font-size:12.5px!important;color:#ffd9b0!important;line-height:1.5!important}
#mtp-ed-cmp .take b{color:#FF9A3D!important}
@media (max-width:640px){#mtp-ed-cmp{padding:14px!important}#mtp-ed-cmp h3{font-size:16px!important}}
How Dale-Compliant Error Diffusion Compares
Proposed approach vs. other backpropagation-free and biologically motivated learning rules. “Dale-compliant” means separate excitatory/inhibitory populations with non-negative weights. Method names link to primary sources.
Method
Backprop-free (no weight transport)
How error reaches hidden layers
Dale-compliant (E/I, non-negative)
Shown on RL
Demonstrated reach / notes
Error Diffusion — ED / ED-PPO (proposed)
Yes
Global error sign routed directly to hidden units via modulo routing r(i) = i mod C
Yes — dual-stream E/I, non-negative weights
Yes (Brax, Craftax)
96.7% MNIST, 61.7% CIFAR-10; RL returns on par with DFA-PPO
Backpropagation
No — needs transposed forward weights
Exact gradient, layer by layer
No — arbitrary-sign weights
Yes (BP-PPO)
Reference baseline; state of the art across tasks
Feedback Alignment (FA)
Yes
Fixed random backward weights, layer by layer
No — arbitrary-sign feedback
Not shown
Learns deep and convolutional nets; limited on harder benchmarks
Direct Feedback Alignment (DFA)
Yes
Output error to each hidden layer via fixed random matrices
No — random signed feedback (~2.84M negative weights)
Yes (DFA-PPO)
Scales to convnets and transformers; 97.6% MNIST, 69.1% CIFAR-10; weakest on Craftax
Dale’s ANNs (DANNs)
No — trained with backprop
Backpropagation
Yes — separate E/I populations
Not shown
Matches standard ANNs on supervised tasks
Predictive coding
Yes
Local prediction-error units (Hebbian)
No — not enforced
Not shown
Approximates backpropagation on supervised tasks
Dendritic cortical microcircuits
Yes
Local dendritic prediction errors
No — not enforced
Not shown
Approximates backpropagation; small-scale tasks
Evolution Strategies (ES)
Yes
Black-box parameter perturbation and reward (no per-layer error)
No — not enforced
Yes
Gradient-free; scales poorly with parameter count
Original Error Diffusion
Yes
Global error sign, local update (binary)
Yes — naturally Dalean
No
Binary classification; ~55.2% CIFAR-10 with a flattened MLP
Takeaway: most backprop-free rules relax Dale’s principle, and most Dale-compliant networks still rely on backpropagation. Error Diffusion satisfies both at once, and is the first to carry that combination into reinforcement learning.
Comparison compiled by Marktechpost · Method from Sakana AI, “Diffusing Blame” (Yamada et al., 2026)
Minimal Code Sketch
The equations translate into a compact, illustrative update loop:
Copy CodeCopiedUse a different Browser
import torch
def dual_stream_forward(p, n, Wpp, Wnp, Wnn, Wpn, bp, bn, phi):
# All W >= 0; cross-stream signs are hardcoded inhibitory (Dale's principle)
p_next = phi(p @ Wpp - n @ Wnp + bp) # excitatory stream
n_next = phi(n @ Wnn - p @ Wpn + bn) # inhibitory stream
return p_next, n_next
def routed_error(S, H, C): # S: output error, shape (B, C)
M = torch.zeros(H, C)
for i in range(H):
M[i, i % C] = 1.0 # r(i) = i mod C
return S @ M.T # R = S M^T, shape (B, H)
def ed_update(A_p, Z_p, R, phi_deriv):
U_p = phi_deriv(Z_p) * R # local postsynaptic drive
return A_p.T @ U_p # dWpp ∝ A_p^T U_p, shape (K, H)
Key Takeaways
Sakana AI’s Error Diffusion trains Dale-compliant dual-stream networks without weight transport or random feedback matrices.
Modulo error routing (r(i) = i mod C) scales the rule past binary classification to 96.7% MNIST and 61.7% CIFAR-10.
Three classification innovations reverse in importance between MNIST and CIFAR-10, exposing task-dependent credit-assignment bottlenecks.
ED-PPO brings the same architecture to reinforcement learning, matching DFA-PPO on Brax and beating it on Craftax.
Dale’s principle costs 0.9–7.4 points versus DFA on classification, quantifying the price of non-negative weights.
Check out the Paper. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post Sakana AI’s Error Diffusion Trains Dale-Compliant Dual-Stream Networks, Reaching 96.7% MNIST and 61.7% CIFAR-10 Without Backpropagation appeared first on MarkTechPost.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み