全球首個可模擬的人–場景互動重建框架 HSImul3R：讓人類影片真正成為機器人技能來源
為何重要
HSImul3R 透過引入物理互動監督，填補了 Computer Vision 與機器人控制之間的「感知—模擬鴻溝」，意味著機器人不再只能「看懂」動作，而是能真正理解重力、摩擦與碰撞等物理法則。對開發者而言，此技術揭開瞭如何將海量人類互動影片轉化為低成本、可執行訓練資料的路徑；對投資人與產業而言，它為無人系統與具身智慧的 Sim-to-Real 部署提供了關鍵技術基礎，將顯著影響機器人商業化的落地效率與安全性。
大曉機器人與南洋理工大學 S-Lab、上海人工智慧實驗室共同發布名為 HSImul3R 的研究框架，直指三維重建僅具視覺準確性但無法保證物理互動的痛點，推動重建從「視覺正確」走向「物理可執行」。
- 該框架利用「物理閉環」機制與面向場景的強化學習，實現了從影片恢復到物理模擬最佳化的端到端資料流。
- 在團隊構建的 HSIBench 基準上，HSImul3R 在 Easy、Medium 和 Hard 三個難度級別的互動穩定率分別達到 53.68%、30.56% 和 13.92%，顯著優於既有方法 HSfM。
- 研究成果已獲 ECCV 2026 接收，並成功將最佳化後的動作遷移至 Unitree G1 人形機器人，驗證了 Sim-to-Real 的實用性。