一致性驅動自監督跨表徵學習的共同演化
為何重要
此技術解決了機讀取混合資料（圖表、程式碼）的瓶頸，利用自監督訊號減少對昂貴人工註解的依賴，並提升了模型在跨模態任務中的泛化能力。對開發者而言，這有助於建立更強健的資料分析或 RAG 工作流；若長期演進成熟，將顯著降低具體垂直領域（如金融、製造）多模態模型的調訓成本。
面對圖表影像、表格資料和視覺化程式碼的多模態跨表徵理解挑戰，此研究提出 CoCoEvolve 架構，旨在透過提升表徵間的一致性來解決訓練監督不明確與成本高昂的問題。
- CoCoEvolve 定義圖表、表格與程式碼之間明確的一對一對應關係，不使用額外註解即可最佳化模型，並在訓練與推論時進行一致性驅動的共同演化。
- 該架構涵蓋 CoCoEvolve@Train、CoCoEvolve@Test 與評估套件 CoCoEvolve@Eval，覆蓋所有六個跨表徵任務。