SmartMage：針對 3D 場景的動態模態編排
為何重要
SmartMage 切中了具場景感知 AI 的核心痛點，透過動態選擇與專家網路排程，解決了傳統固定模態組合造成的低效與資源浪費。對於開發者而言，此技術提供了一個能更精確且經濟地處理 3D 資訊的架構範本；從投資視角看，能最佳化模型計算效能與資源分配的策略性模組，是推動具身智慧體（Embodied AI）實際落地應用的重要基礎技術。
具身智慧需對 3D 場景進行跨視覺與幾何線索的聯合推論，現有的多模態大型語言模型（MLLM）常因依賴固定模態組合而忽略語意差異，導致引入無關資訊的噪音並浪費算力。
- 新系統 SmartMage 採用 SMART 模組，利用語義先驗、文字-模態對齊與模態品質來選取特定任務相關的模態。
- 引入 MAGE 模組，透過模態先驗來引導專家啟動，強化多模態推理中的適應性專業化。
- 在五個 3D 場景理解基準測試達到最現狀（SOTA）表現，並在僅限 RGB 的視訊理解基準上展現競爭力。
- 提出 ScanFacet 診斷基準試驗，將任務細分為精緻語義類別以分析不同型別對應的模態偏好。