EventEgoHands++:基於事件相機的穿戴式 3D 手部網格重建框架與新資料集
為何重要
超越傳統視覺技術,事件相機解決了低光照與運動模糊問題,為未來穿戴式裝置與機器人互動帶來更高動態範圍的可能性;儘管本研究在架構與資料建置上具技術深度,但目前仍停留於演算法與資料整合熟階段,距離商業化落地仍有距離。
3D 手部網格重建對 HRI 與 AR/VR 至關重要,但在低光環境下傳統相機受限,且穿戴者的運動易產生背景噪點;本研究提出 EventEgoHands++ 框架,主要解決事件相機在動態場景中無法區分左右手的辨識問題。
- 引入 Hand Detector 三維偵測器,生成左右手的例項層級邊界框與遮罩,取代原先無法區分的二值化遮罩。
- 設計 Adaptive Attention 機制,依據手部偵測結果動態調整注意力,精準學習手部間的幾何關係與互動。
- 發布 EEH-R 真實世界資料集,收錄約 100 萬 標註畫格,是目前規模最大的穿戴式事件視角手部資料集。