GeoPair：保留幾何特性的訓練無需 Transformer 壓縮框架
為何重要
對開發者與構建者來說，這項技術提供了一種「訓練無需」的模型壓縮路徑，透過保留 activation 幾何特性，比傳統的啟發式工程更能有效壓縮模型體積。這代表了從權重剪枝走向幾何感知最佳化的理論突破，有助於在維持功能精確度的前提下顯著降低算力需求。
鑑於 Transformer 架構跨層冗餘的特性，現有壓縮技術多孤立處理層級，或依賴忽略層級間幾何特性的啟發式分組策略。本文提出名為 GeoPair 的訓練無需壓縮框架，透過最佳化跨層權重配對與共享詞典分解，提供更有效保留層級特徵的解決方案。
- 採用理論依據明確的方法，順序最佳化跨層權重配對與共享詞典分解，避免強制相鄰層共享基礎或啟發式合併統計資料。
- 配合結構化稀疏性，在不犧牲模型功能精確度下產生高效的權重分解。
- 在跨架構、規模與模態的評估中表現超越獨立的結構化權重分解及啟發式分組策略。