透過 Transformer 變分自編碼器學習稀疏決策樹 (TREVIS)
為何重要
這項研究挑戰了決策樹訓練演算法只重視預測準確率而犧牲稀疏度的行業慣例，展示了將結構約束整合進神經網路變分自編碼器 的可行性。對開發者而言，提供了一種在不喪失模型「透明度」的前提下，同時追求高稀疏度與精準度的技術解決方案。
- 演算法名稱：提出名為 TREVIS 的方法，旨在學習出同時具備高預測效能與結構稀疏性的決策樹。
- 技術機制：透過樹形 Transformer 變分自編碼器 將決策樹對映到潛在表示中，將原本離散的搜尋空間轉換為連續空間，從而允許透過可微 surrogate 模型進行梯度式最佳化。
- 實作效益：實驗顯示 TREVIS 發現的決策樹在預測準確率上能匹配現有近最佳演算法，同時提升了結構稀疏性。