SAE 潛在空間中的詞性突現類別
為何重要
此研究強化了 Sparse AutoEncoders 作為解釋內部模型表示工具的能力，證實 SAE 捕捉到結構化的語法關係，而非簡單的記憶或一一對應的對映。對開發者而言，這提供了一種比傳統注意力圖更穩定、分步顯影詞彙角色成見的方法。該發現挑戰了線性模型僅編碼孤原子原型的觀念，推動未來 AI 解釋性工作朝取決於類別的分散式表示發展。
Sparse AutoEncoders (SAEs) 為檢視語言模型的內部表示提供了手段，但它們的潛在空間究竟揭示了怎樣的語言結構仍有待釐清。本研究使用詞性作為受控測試，以確認形態語法資訊是編碼於個別潛在變數或結構化的特徵群中。研究結果指出，雖然詞性區分可從 SAE 啟用中高度恢復，但並非單一一對一的對應對映。
- SAE 啟用值中高度還原了形態語法資訊，顯示詞性區分可被檢索，但不符合單一潛在／類別的一一對應關係。
- 詞彙記憶並非造成詞性區分可還原的主因，且開放詞性與封閉詞性類別間的差異極大。
- 語法資訊分佈於由稀疏潛在變數群組支撐的形式中，這些群組在未見過的資料上保持穩定性，並在相關類別間呈現重疊。