當注意力變瞎時：ALiBi 編碼的數值失效問題
為何重要
此發現直指長上下文模型潛藏的底層技術氣疾，指出 ALiBI 這一主流機制存在未被充分考慮的數值穩定性風險，可能直接影響 RAG 系統或記憶檢索的可靠性。對開發者而言，這強化了在訓練階段考量底層數學精度的必要性。
- 148M 引數解碼器模型 的廣泛實驗揭示了 ALiBI 被忽略的失效模式。
- 在此問題中，約 很 大 一部分 的注意力權重因數值下溢而變為零，導致對應的注意力頭部分失明。
- 實驗顯示該模式會嚴重打擊 token 檢索 效能，然而對標準解碼器基準的影響相對較小。
- 在四項減緩策略中，log-scaled distances 被評估為帶來最一致的密碼檢索改善。