為何影片模型成本高昂？影片與聲音視覺 LLM 推論效率機制調查
為何重要
調查直指 VideoLLM 部署的核心痛點——高昂的算力負擔，並透過分階段分析提出具體的減量（token count, FLOPs）與成本最佳化方案，有助於開發者在資源受限的邊緣運算或行動端實現可行的產品原型。對投資人而言，這揭示降低推理成本是從技術示範轉向商業化落地的關鍵門檻，但本議題屬於學術研究層面，尚未觸及具體產品財務資料。
- *背景：影片大語言模型雖在標記、問答及時間定位表現亮眼，但其計算與記憶體成本隨幀數與上下文增長，限制了在即時與重資源裝置上的部署。*
- *調查範圍涵蓋 2022 年末至今的 VideoLLMs，以及仍為現今管道組成要素的早期幀取樣與視覺編碼器機制。*
- *方法依據執行階段分類，涵蓋影片取樣、模態編碼、聯結器級 token 壓縮及 LLM 預填充與解碼的分析。*
- *研究比較準確度與成本（如 FLOPs、延遲、記憶體）的下降，同時指出音訊視覺效率與標準化評估仍存有缺口。*