視訊物件中心學習之選擇性協同學習
為何重要
此研究針對視訊 AI 的核心痛點——計算效能與難題辨識的平衡提出新解法。開發者可將 SSync 視為 Plug-and-play 模組，無需重構架構即可提升物件分割的準確度與運算效率。對產業而言，隨著影片辨識應用愈趨廣泛，如何在無損精度的前提下降低 GPU 成本，是硬體與演算法團隊合作的關鍵，此成果具備技術藍圖意義。
現有視訊物件中心學習（VOCL）方法通常依賴編碼器解碼器的重建架構，但過去的對齊策略在強制無差別匹配時會放大模組缺陷，且計算成本隨片段數量的增加呈二次方成長。
- 提案 "Selective Synergistic Learning (SSync)" 放棄全量匹配，轉而利用 pseudo-labeling 實現線性複雜度，嚴格讓編碼器負責邊界精修，解碼器負責內部去噪。
- 為解決 slot 冗餘等架構偏見，引入傳遞性偽標籤合併機制，依據 spatio-temporal activation consistency（空間時間啟用一致性）來整合重疊的 slots。
- 實驗顯示該方法能提升物件分解品質並具備魯棒性，目前程式碼已於 github.com/wjun0830/SSync 上線。