Whisper 編碼器剪枝：六層移除與無標籤恢復技術
為何重要
對於開發者與工程師，這是一項關鍵的 Whisper 模型壓縮技術，移除了標準推論管道的阻礙，透過未標註單語言資料即可獲得接近基準的效能。這項研究展示了在自監督學習設定下，重構完整性編碼器的可能性，為追求更輕量化部署的場景提供了新路徑。
現有的 Whisper 模型最佳化通常集中在解碼器上以提升速度，但編碼器的壓縮較為困難且常需自定義推理邏輯；新研究提出一種基於餘移圖的無標籤方法，透過移除對語句準確率影響最小的三層來壓縮編碼器。