影片模型的視覺提示工程
為何重要
過去影片模型常難以處理抽象或低對比的視覺場景，本文證實利用精緻的輸入影像來激發模型反應，是比調整文字引數更有效的最佳化手段。這代表視覺推理應用的部署門檻將大幅降低，開發者未來可能只需調整輸入圖片風格，即可提升視覺代理或分析工具的容錯能力。
影片模型正逐漸轉型為視覺任務的基礎模型，圖文編譯測試發現這類模型同樣能從「視覺提示工程」（Visual Prompt Engineering, VIPE）中受益。此技術透過自動修改任務影像來提升模型效能。
- 在物理推論任務中，將抽象的素描場景轉換為照片寫實場景，能顯著改善影片推理表現。
- 證實在影片模型上，VIPE 的效果優於傳統的文字式提示或測試時間擴充套件策略。
- 提供了一種計算效能高效的方法，來引導影片模型輸出更好的視覺推理結果。