思考再連結:多語言實體連結中的稀有性、推理與檢索
為何重要
這項研究揭示了當前 RAG(檢索增強生成)架構中處理「冷門知識」或冷門實體的關鍵盲點:單純的向量檢索無法解決深度冷門專案的歧義問題,未來 Agent 類應用需匯入更有意識的知識確認機制。對於開發多語言 Agent 或檢索系統的業者,MERLIN-Rare 的出現提供了一個更精準、非流行度導向的評估標準,有助於在少樣本場景下做出技術決策。
多模態實體連結系統以往依賴頁面瀏覽量等流行度指標,往往無法精準捕捉知識圖譜中的稀疏結構,導致模型在稀有實體上的準確率大幅下滑。研究提出一套無需訓練的框架,利用具備推理能力的 VLM 在維基百科上動態搜尋證據,並證實「推理」與「檢索」兩種機制需結合使用。在跨印地語、印尼語等五種語言的 MERLIN 多模態基準上,最佳系統整體準確率提升 6.9%,在稀有實體切片上最高提升 23.3%。
- 研究指出,僅使用流行度指標會遺漏大量知識圖譜結構稀疏的實體,導致 SOTA 準確率在這些切片上掉落 15.4% 至 39.9%。
- 控制實驗顯示,單純依靠推理或單純依靠檢索均無法達到最佳效果,唯有兩者結合才能兼顧整體與稀有實體的準確率。
- 研究團隊發布 MERLIN-Rare,提供專門針對稀有實體的多語言測試切片。