大型語言模型在常識推理中的「顯著性偏誤」研究
為何重要
這項研究指出 LLM 常識推理的瓶頸不在於模型競爭力不足，而在於「揭示機制」的被錯誤誘導，這改變了開發者對於模型錯誤的診斷方式。 對於依賴 LLM 做關鍵決策的產業使用者來說，這證明瞭透過推理時提示可以在不增加運算成本或重新訓練的情況下，顯著提升模型在不同情境下的魯棒性。 未來 SaliTrap 可能會成為檢驗模型在複雜、雜訊環境中表現的新指標。
研究發現大型語言模型（LLMs）容易被輸入中明顯數值等無用幹擾訊號誤導，從而忽略潛在的物理常識或任務前提，這種現象被稱為「顯著性偏誤」。
- 研究團隊建立了 SaliTrap Benchmark，目前包含四種陷阱維度，並針對 12 項先進模型進行評估。
- 實驗結果顯示，所有主流模型皆顯著受此偏誤影響，且錯誤嚴重程度會隨幹擾項密度增加而上升。
- 文中指出此問題主要源於「知識被壓抑」而非「知識缺失」，僅靠輕量級的推論時提示即可在不重訓的情況下修復問題。