Complex KDA：揭示 Kimi Delta Attention 表達能力的複數模型
為何重要
CKDA證明瞭透過有理複數擴充而非簡單的縮放規則，理論上可以突破線性 RNN (LRRN) 對於復雜群結構追蹤的限制，同時保持計算上的效率。這對於追求高效率推理的應用（如推理服務或邊緣部署）具有重要意義；同時作為 Kimi 模型底層技術的延伸驗證，也顯示該生態系統在模型架構探索上的深度。
- 引數擴充與新架構：透過擴充 channel-wise gate 的引數範圍至 [-1,1] 以及 delta-rule 係數 $eta$ 至 [0,2]，結合反射單元來模擬 2D 旋轉。<br>- 運算效率：CKDA 的轉換矩陸維持 diagonal-plus-rank-one (DPR) 與非擴張特性，僅需一層即可達到 DeltaProduct_2 的狀態追蹤效果。<br>- 程式碼與模型發布：研究團隊在 GitHub 與 Hugging Face 上開源了程式碼與預訓練模型，實證顯示其在週期性音訊延續與語言模型任務中優於 Transformer。