N_0-TWAM:大規模觸覺原生世界-動作模型,用於接觸豐富的操縱任務
為何重要
這項研究標誌著具身智慧從「單一視覺依賴」向「多感官整合」的重要進展,NeoForce 的力導向表示法解決了高精度操作中的摩擦力與接觸控制關鍵難題。對從業者而言,公開發布程式碼意味著將加速觸覺驅動機器人執行精密任務的技術底層建置;若未來能最佳化推理成本,將顯著拓寬具身智慧在實體世界與非結構化環境落地的商業化邊界。
N_0-TWAM 是一個觸覺原生的世界-動作模型,旨在解決機器人操作中難以精準預測且不掌握接觸力道的痛點,使其成為首個在大型規模上進行訓練的相關模型。
- 首個觸覺世界-動作模型,採用非對稱 Mixture-of-Transformers 架構來平衡視覺預測與下游動作/觸覺預測的效率。
- 使用 NeoForce 建構統一的基於力的觸覺表示,並以此作為條件對 6 種形式和 450 個任務的演示進行聯合視覺-觸覺預訓練。
- 引入「觸覺接觸事件」作為階段劃分橋樑,以提升長時間視窗和多階段操作的執行能力。