CURV:透過課程視覺基礎推理增強圖表理解能力
為何重要
CURV 解決了當前 MLLM 在圖表問答中缺乏內在視覺基礎推理能力的關鍵缺陷,透過課程學習策略將感知與推理更緊密地結合。對開發者來說,這提供了一個可參考的架構路徑,以強化模型在資料視覺呈現與邏輯分析上的表現;對產業而言,意味著未來商業智慧分析與財報方面的應用,有望透過類似技術顯著提升資料解讀的精確度。
- XR CURV 框架將圖表問答重構為多步驟視覺基礎推理,透過成本空間注意力集中來協調邏輯推理與動態視覺基礎。
- 為協助訓練,研究團隊引進 CCQA 資料集,這是一個提供可擴充套件合成生成、涵蓋多種圖表型別與推理模式的三層課程資料集。
- CURV 在基礎測試上實現高達 20.50% 的效能提升,並可泛化至真實世界基準(12.30%)與跨域多模態推理任務(10.20%)。
- 相關程式碼已開源,可供進一步的研究與應用。