形態測量擬態:從形態與接觸感知的手形重定向到模擬到真實的視覺動作策略
為何重要
對開發者而言,此研究展示了縮小模擬與真實差距的具體技術路徑,解決了人手與機械手形態差異所導致的動態不穩痛點,可作為開發具備靈活抓取能力 Agent 或機器人的基礎技術架構。此類 Sim-to-Real 技術的進展對於具備視覺與動態控制能力的高階機器人開發至關重要。
學習人類手部操作示範並轉移至仿生機械手面臨形態差異、動態可行性和模擬到真實部署三大挑戰。本研究提出「形態測量擬態」(Morphometric Imitation)框架,透過三個階段將人類示範轉化為可零樣本移植的機器人視覺動作策略。
- 框架包含三個主要步驟:形態測量最佳化(MMO)保持接觸資訊進行形態間重定向、殘差強化學習(RL)利用物件姿態修正動態參考,最後將示範提煉為視覺動作策略。
- 在三種機器手與十種人類手物互動(HOI)場景中,MMO 演算法在接觸準確率(F1)上超越五個基線模型最高點至少 8 分。
- 後續動態重定向的成功率較基線提升最高達 35 點。
- 最終提煉的視覺動作策略在 30 個真實物體上經過 300 次試驗,實現 89.3% 的零樣本移植成功率。