大型語言模型的資訊幾何是共享、學習且可控制的
為何重要
本研究提供了一種基於幾何學的新框架來理解與控制 LLM，超越了傳統的座標系統限制。其實證結果顯示幾何性質是架構無關且可遷移的，這為未來的模型開發工具（如 steerable agents）和微調策略提供了理論依據。
研究發現大型語言模型雖然行為相似，但其內部共享著可量化的 Fisher-Rao 資訊幾何結構，這種結構支援模型行為的遷移與區域性控制。
- 架構驗證：在 Transformer、狀態空間 和迴圈 模型中，輸出幾何的一致性顯著優於啟動幾何，證實了跨架構的行為共享性。
- 預測與校正：代幣機率和讀出幾何聯合預測了語言頻譜及其有效維度，且在脫離訓練資料後，人類詞彙選擇的一致性可透過模型單獨校正獲得提升。
- 區域性幹預與重用：基於幾何的區域性幹預具備最小幹擾特性，並支援從捐助者提示 到未見提示 的可重複控制，有效改善了 steered editing、attribution 和微調。