以視覺語言視角研究統一多模態模型中的 Image Tokenizer
為何重要
這項研究顛覆了過去認為「重建精確度」與「任務效能」正相關的直觀印象，證明在聯合最佳化下，影像 Tokenizer 的設計會直接幹擾文字模型的建模能力。 對於工程師而言，這意味著未來的多模態模型不應單純最佳化影像解碼器的畫素還原度，而需更關注影像與文字 Token 在統一句法下的協同學習表現。 此發現為評估基礎模型底層架構提供了一個客觀的「關聯性」標竿，指出了當前主流模型若只重視生成而不顧理解，可能存在的隱性技術盲點。
統一多模態模型將影像視為「視覺語言」進行 Token 化，但現有的獨立評估指標往往無法完全捕捉多模態聯合訓練時的特性。
- 針對純文字、影像、圖生文與文生圖預測場景，提出了受控的單純自回歸測試平臺，並追蹤其任務特定的驗證損失。
- 研究指出，不僅不同任務的損失具有獨特的規模行為，且更好的影像重建精確度並不一定等同於更低的任務損失或更強的下游效能。
- 發現圖生文預測損失在跨不同 Tokenizer 時變動劇烈，而文生圖(I2T)損失（基於共用文字詞彙）則能提供更穩定的評估訊號。