Ambient @ EgoProactive 2026 : 被動式主觀輔助的視覺基準監督技術
為何重要
這項研究突顯在可穿戴裝置的互動場景中，「視覺情境的結合」比純文本監督更有效。對開發者而言，在資源受限的終端裝置上，利用精確的影片片段分割與二元分類策略，可大幅提升辨識績效，這提升了 Wearable AI 在即時輔助場景的實用落地面。 此外，這驗證了特化影片代理雖成本較高，但在特定任務優於泛用的口述或關聯檔案監督，顯示資料「質」勝於「量」在特定感知任務上的重要性。
這篇報告是針對 ECCV 2026 可穿戴 AI 挑戰賽分組的提交方案，透過視覺基準監督機制達到高精度的預測表現。
- 提案在競賽中於大型模型組別獲得第一名，並在另一個細分組別中獲得第二名。
- 將模型輸出限制為二元預測（yes 或 no），相較於自由生成，使宏觀 F1 值提升 0.249，G-mean 提升了 0.30。
- 透過「工具呼叫影片代理」為影片片段產生監督資料，發現視覺基準監督的傳遞效果優於體積大四倍且成本高十倍的口述替代方案。