具身操縱的資料金字塔
為何重要
這篇論文跳脫了純粹的演算法最佳化視角，從供應鏈角度重構了具身 AI（Embodied AI）的發展邏輯。它揭示了從 LLM 的純文字學習邁向物理世界互動的關鍵難點在於資料整合，而非單純的模型架構。對產業而言，該「資料金字塔」架構將成為未來評估與設計具身系統的重要藍圖。 對開發者與研究人員，這份分類框架有助於系統性地選擇與混合不同來源的資料來源，以解決現實世界應用中的「對齊」問題。
雖然多模態基礎模型能從網路學習，但具身代理無法使用捷徑，必須依賴結合觀察與物理狀態的資料。本文提出將具身資料生態系統組織成一個分為五個層級的「金字塔」，並將其架構建立在可擴充套件性與機器人對齊的張力之上。
- 確立五個補充資料來源：真實機器人資料、UMI 樣式資料、主觀與客觀資料、模擬資料以及通用視覺語言資料。
- 從品質、多樣性、重複使用性和物理保真度四個維度對各資料來源進行特徵化分析。
- 將資料組成與具身模型在感知、推理、規劃、行動生成及世界預測上的能力直接聯絡。
- 文末列出六大開放挑戰，包括建構大規模觸覺資料集、收集失敗與恢復資料，以及設計原則化的機器人學習資料策略。