PC-ALM：不使用反向傳播的增廣拉格朗日預測編碼
為何重要
反向傳播對時序與硬體同步的要求在大腦運算中難以實現，這項研究提供了符合廣義腦科學的分散式訓練架構。 對於正開發類腦晶片或低功耗硬體的開發者與公司而言，這種「層級本地運算」的模型具備更高的軟硬體整合與能效潛力。 目前實驗主要在簡單任務的小型網路上驗證，雖然具備理論參考價值，但距離替代主流大型模型訓練仍需時間觀察。
Stanislav Sakana AI 公佈 PC-ALM 方法，作為反向傳播矩陣運算的演算法替代方案，僅藉由層級間的動態系統即可訓練殘差 MLP 高達 1000 層。
- PC-ALM 為每層引入拉格朗日乘數與 PI 反饋控制器，透過鄰層通訊實現即時監督訊號的分佈。
- 相較於標準預測編碼（PC），PC-ALM 解決了後者在深層窄網路中訊號衰減導致訓練困難的問題。
- 當網路為線性時，其拉格朗日乘數會收斂至精確的反向傳播信用訊號，但在當前實驗中僅涉及 Fashion-MNIST、CIFAR-10 等簡單任務。