透過相對表示偵測 LLM 隱藏狀態偏誤
為何重要
這項技術解決了開發者面臨的「信任赤字」問題——通常是直到輸出產生偏誤才發現，導致巨資修飾或審計。透過低成本、高效率的 ΔB 指標，企業能夠在微調與 RAG 系統迭代過程中即時監控模型神經網路的內部偏差，避免在金融、醫療或客服等高敏感應用中產生未經意圖但真實存在的生成內容。這將有助於降低 LLM 商業化部署的合規風險與人工審核成本。
現有偏誤審計多依賴昂貴的輸出評估或裁判模型，容易遺漏訓練過程中未出現在生成文字裡的內部偏誤。本提案提出一種基於參考的方法，利用句子的「相對表示」來比較模型在微調前後的隱藏狀態差異，並量化的「表示偏誤偏移 (ΔB)」指標。內測顯示，在 18 種情境中有 15 種，ΔB 與輸出層級的偏誤變化高度相關 ($|r| = 0.84$)，且能在約 3 分鐘內檢測出負面偏誤增加的檢查點（ROC AUC = 0.65 ~ 0.99）。