讓 Transformer 內部運作「可解讀」：2021 年的機械解釋性數學框架
為何重要
- 研究奠基性：這篇論文為機械解釋性建立了早期的數學架構，將複雜的黑箱深度學習網路拆解為可解讀的元件（例如識別情境學習的「誘導頭」），為未來的研究與實務提供了核心路徑。 - 影響模型解釋：透過分析單層、雙層模型的基礎運作原理（如跳過三元組與大雙重字元統計），開發者與研究人員能更準確地預測大型模型（如 GPT-3）在擴充套件至數千層時可能出現的未知行為與安全風險。 - 理性化技術洞察：研究揭示了 Transformer 中因果連結的基礎如 QK 與 OV 運算的解耦，以及其線性結構的普遍性，有助於最佳化模型 Debug 與設計更具可解釋性的架構。
- 研究團隊透過數學上等價的方式重新定義 Transformer 的運作，成功讓簡單模型的內部運作可被理解；儘管目前仍需透過多個子論文才能逐步套用更龐大的模型。
- 發現一種稱為「誘導頭」的注意力機制可解釋小型模型的情境學習，且此機制僅在至少包含兩層的 attention-only 模型中發展，這是從單層到多層模型演算法轉變的關鍵。
- 逆向工程結果顯示，零層模型僅處理大雙重字元統計，一層模型是「大雙重字元」與「跳過三元組」模型的集合，而兩層模型則透過注意力頭的組合實現更複雜的演算法。
- 指出 Transformer 具有大量線性結構，可將注意力頭視為分離的 QK 運算與 OV 運算，並透過權重直接檢測出可解讀的終端函式路徑。