MLLM 幻覺成因為人機協作中資訊分佈偏移所致
為何重要
此研究從模型內部機制切入，重新定義了 MLLM 幻覺的成因——即協同頭的資訊失衡——這為解決模型可信度問題提供了可解釋的技術路徑。雖然這屬於底層研究，但其觀點可能重新引導業界對模型防範策略的設計重點，即從單純的輸出濾波轉向內部資訊流的結構性校準。
多模態大型語言模型（MLLMs）常面臨幻覺挑戰，導致實際應用可靠性受損。本研究提出 HEAL 框架，透過因果乾預與反事實差分分析來解耦並校準資訊分佈，從而識別並抑制幻覺。分析發現，當「人機協作頭」（synergy heads）中的資訊流動偏離健康平衡時，幻覺便會產生，而非單純取決於模態特定頭的量或強度。
- HEAL 經過因果雜訊幹預過濾多頭輸出，以移除因果冗餘的頭部。
- 研究使用反事實差分方法將剩餘頭部分類為四種型別。
- HEAL 將動態資訊校準因子注入協同頭的值向量中，主動調節視覺語言依賴性。