Squeeze-Release：具確結構最小化的迭代剪枝演算法
為何重要
提供了一種在不犧牲精度的情況下顯著壓縮模型體積的高效技術，有助於降低資源受限環境下的部署成本。
針對無結構剪枝雖產生稀疏張量卻無法有效縮小模型體積的問題，研究提出「Squeeze-Release」迭代演算法。該方法引入確結構最小化 將網路轉換為更小形狀，並利用中間釋放步驟將零值轉換為訓練引數以發現更多冗餘。實驗顯示，在 ConvNeXt-Tiny 上可壓縮 14.8 倍，且維持 相當的精度，並已證明可擴充套件至 Transformer 架構。