AMRD：用於輕量化語音情感辨識的適應性多教師關係知識蒸餾
為何重要
此研究專注於知識蒸餾技術的細節最佳化，解決了邊緣裝置部署語音 AI 的關鍵瓶頸——在不犧牲準確度的前提下壓縮模型。對開發者而言，AMRD 提供了在 Edge AI 專案中處理教師模型不穩定性的策略手法；對產業而言，這代表 On-Device SER 的技術可行性與商業落地階段有所進展，但目前仍屬底層技術突破層級。
語音情感辨識 在裝置端即時應用中至關重要，但大型自監督模型雖表現優異卻成本過高，難以部署於邊緣裝置。現行單一教師知識蒸餾存在教師可靠性波動及忽略樣本間關聯結構的挑戰。
- AMRD 利用單一類別 SVM 計算教師 logit 的相似度矩陣，用以評估並為每位批次賦權，優先選擇較穩定的教師。
- 引入「關係知識蒸餾」損失函式，強制學生模型的相似度矩陣與教師對齊，以捕捉傳統 logit 匹配遺漏的樣本結構資訊。
- 在 IEMOCAP 和 CREMA-D 資料集的四種學生架構測試中，AMRD 在多數情境優於單一教師蒸餾基準，且消融實驗證實兩元件具互補增益。