CAPEval：解耦影像描述評估的兩大核心能力——覆蓋率與精確度
為何重要
此研究精確糾正了當前多模態模型訓練中資料品質評估的模糊性，揭示了單一評分無法區分模型究竟是「資料不夠導致漏看細節」，還是「邏輯訓練不足導致瞎編」。這對開發者意義重大，預示著未來訓練或微調 VLM 時，可以針對性選擇偏重 Precision（提升生成豐富度）或 Coverage（提升 OCR/識別準確度）的標註資料集。對產業鏈而言，此一解耦分析色彩澤碼，有助於後續評估現有多模態資料集（如 WebVid、COCO）對特定任務的適配性。
視覺描述（captions）是引導多模型理解和影像生成任務的關鍵監督訊號，然而現有評估方式將其視為單一維度，實際上混淆了資訊覆蓋率與事實陳述準確度兩個屬性。為此，研究團隊提出 CAPEval（Coverage And Precision Evaluation），透過人類書寫的 ground-truth 語句與核驗過的原子檢查清單，將描述品質解構為「覆蓋率」與「精確度」兩個互斥的指標。
- CAPEval 將 caption 品質拆解為兩個維度：覆蓋率（資訊涵蓋完整度）與精確度（陳述事實準確率）。
- 研究團隊招募 10 位 captioner 撰寫人類 ground-truth 語句，並透過原子檢查清單進行核驗。
- 在 4 種模型家族的端到端實驗中，發現 Coverage 是視覺理解表現的強相關指標，而 Precision 則是影像生成表現的主要預測因子。
- 該評估範式為不同下游任務（理解或生成）提供了針對性最佳化 captioner 的可操作依據。