ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

亮源新創驗證網規模人類動作預訓練具「遷移縮放定律」,1200億 token 誤差呈冪律下降

研究 1 個來源 · 8 小時前
為何重要

這項研究宣告機器人預訓練進入「網路級」資料競爭,挑戰了以高昂成本純採集真實世界人類行為資料(如 Figure 的 Index 路線)的經濟極限。它引發了對「原始影片 vs. 計算力」投資折舊的兩極思考:雖然影片獲取成本低,但將視覺訊號轉換為高精確度物理數位訊號的成本可能遠超預期。對於開發者而言,這提供了衡量第三方預訓練模型遷移邊際效用的關鍵標杆。

亮源新創透過技術部落格發表新研究,證實透過網際網路第三視角人類行為影片進行預訓練,能從遠較機器人資料分佈更遠的域中提取可遷移的經驗,並在多本體機器人上呈現規模效應。

  • 模型 Light-O1 將人類動作預訓練資料規模從 37.5 億 tokens 擴充套件至 1200 億 tokens(約 10 萬小時人類動作),並在第一人稱人類資料、Unitree G1 機器人以及亮源自研人形機器人等多個目標域上觀察到動作預測誤差、全身姿態誤差均呈現冪律下降趨勢。
  • 研究提出「遷移縮放定律」,指出當人類動作先驗預訓練規模擴大時,變異性會減少,指標收斂性會提高。
  • 方法上需先進行結構化人類動作恢復(Action Recovery),將影片轉化為統一人形動作表示,再與視覺、語言資訊混入自回歸預訓練。
Light OriginsLight-O1Transfer Scaling LawHuman Action Prior1200億 tokensMulti-embodiment

來源 · 1 篇報導

首發 量子位 QbitAI qbitai.com 12:25