SIGNPOST-Bench：多模態大語言模型視覺與文字衝突決策評測
為何重要
這份研究揭示了當前 MLLM 在「訊號幹擾」面前的脆皮本質：精準的乾淨資料定位能力並不等同於應對真實場景中文字誤導（如錯誤路標、惡意文案）的魯棒性。對開發者而言，這是進行產品驗證時必須補足的盲點；對投資人來說，這提醒在評估類似 GPT-4V 或定位軟體的商業價值時，不應僅看基準分數，必須考量其在低品質、高衝突環境下的表現，這屆時影響了應用落地的誤差率與資安風險。
現有多模態大語言模型（MLLMs）的評測多半忽略模型在視覺與文字證據衝突時的決策機制。研究者發布 SIGNPOST-Bench，透過五個變體（Original, Blank, Similar, Random, Adversarial）構成 5,111 組反事實影像，包含 25,555 個變體與 4 個額外資料集。針對 7 個供應商的 20 個 MLLM 測試顯示，對抗性變體下中位定位誤差從 282公里 激增至 1,347公里（增長 4.8 倍），且幾乎所有模型都會被注入的衝突文字誤導。