ImIR：適用於全能圖片修復的圖片指令調整
為何重要
這項技術宣告了圖片修復任務可透過「圖片指令」而非文字提示與預訓練編輯模型整合，大幅降低了開發者部署修復功能的門檻與認知負擔。 - 對於需要多樣化輸出的應用（如影像最佳化工具），該方法的連續向量縮放特性比固定的文字提示更具彈性。 - 從產業發展看，僅需三小時單 GPU 訓練的低秩介面卡方案，將加速 AI 模型從研究階段走向產品整合的商業化週期。
為解決函蓋多種退化型別的圖片修復需求，研究提出 ImIR 方法，利用大型預訓練圖片編輯模型搭配自介面卡，將退化圖片本身轉化為語義指令來進行修復。
- 與傳統文字提示不同，ImIR 使用「圖片指令」作為條件，透過兩條路徑送入編輯器：結構來源於 VAE，語義則由輕量級 Token 對映器將退化圖片的視覺語言嵌入推向乾淨圖片空間。
- 透過調整連續指令向量，模型可支援目標非唯一的任務（如低光增強），生成一整族的有效修復結果，且在對比實驗中優於文字條件。
- 研究將 Qwen-Image-Edit 模型適配至六項修復任務，僅使用一個低秩介面卡，在一個 GPU 上訓練耗時約三小時。