Kalman Delta Networks：不確定性感知的關聯記憶
為何重要
- KDN 針對長上下文模型的關鍵痛點（不確定性導致的寫入決策盲點）提出了數學上嚴謹的解決方案。 - 該架構保持 GPU 友善的平行計算特性，在不犧牲效率的情況下實現了效能（perplexity 與準確度）的顯著提升。 - 這為長序列處理提供了兼具理論解釋性與工程可實現性的新基礎架構。
- 線性注意力在長上下文推理中受限於無法追蹤記憶置信度，導致權衡寫入強度時缺乏累積證據對照。
- Kalman Delta Networks (KDN) 將迴圈記憶重構為線性-高斯狀態空間模型，利用 Kalman filter 精確追蹤不確定性。
- 為適應 GPU 運算，研究提出對角線 KDN 和同質 KDN 兩種近似方法，並透過 Mobius map 實現對數並行深度。
- 在 750M 與 1.3B 引數規模的實驗中，KDN 變體在預測難度（perplexity）與下游準確度上均優於現有的線性注意力 SOTA 模型。