Mira-Scene:生成式 3D 場景的畫素對齊佈局
為何重要
Mira-Scene 透過 Canonical Coordinate Map 解決了 3D 資產生成中佈局難以整合的痛點,證明瞭使用受限標準空間能大幅提升模型的可訓練性。這項技術對遊戲開發、VR/AR 及 3D 內容創作者來說具高度實用性,若轉化為開發工具或 API,將顯著提升 3D 資產產生的效率與精確度。
Mira-Scene 是一種分解式 3D 場景重建框架,旨在解決單影像 3D 物件生成後難以精確置入連貫場景佈局的問題。其核心 Canonical Coordinate Map (CCM) 比傳統稀疏姿勢表示更易學習,並能為模型提供穩定的訓練目標。
- Canonical Coordinate Map (CCM) 將每個可見物件畫素對映到受限標準幾何空間中的表面座標,以取代難以泛化的稀疏姿勢變數。
- 引入多模態 Diffusion Transformer 聯合產生意圖幾何與 CCM 欄位,利用共享注意力機制提升幾何與佈局的一致性。
- 實驗顯示,相較於 SAM3D 基準,Mira-Scene 在 3D-IoU 上提升 39.8%,在 2D-IoU 上提升 16.5%。