Ego2Robot：具有可擴充套件性的機器人資料合成研究
為何重要
這項技術為機器人領域的具身智慧提供了標準化的資料合成解決方案，特別有助於解決從觀看示範學習的「冷啟動」難題。大規模的資料集與覆蓋多種機械臂形態的訓練資料，能顯著降低開發企業或研究團隊收集真實示範資料的成本與時間。實機驗證結果證明，此方法能提升多模態模型的分佈外泛化能力，這對於超越模擬情境的通用機器人開發至關重要。
Ego2Robot 旨在將人類第一人稱視角的操控影片轉化為機器人訓練資料，透過動作重對齊、機械臂視覺合成及多層級資料篩選，解決通用機器人操控政策需要大量且多樣化示範資料的問題。
- 該管道支援 curated datasets 與 in-the-wild videos 等來源，產出 18,561 小時的機器人訓練資料。
- 覆蓋 15 種 robot morphologies，是目前最大的第一人稱到機器人資料集。
- 在 RoboTwin2.0 測試中，整合合成與真實資料進行聯合預訓練，能顯著提升模型在多型別分離擾動下的泛化能力。