朝向黑暗環境中強健且具 3D-aware 的 RGB-NIR 成像方法
為何重要
此研究標誌著計算機視覺領域中從單一畫素處理轉向 3D 空間建模的一個演進，解決了低光成像訓練資料標註困難的痛點，對於未來提升自動駕駛或監控系統在極端光線條件下的感知容錯率具有重要技術參考價值。
低光成像在業界仍是一項挑戰，許多現有研究依賴精心策劃的資料配對來融合近紅外光（NIR）與噪點 RGB 影像，但其在不同情境下的適應性有限。本文提出了一種新視角，透過引入「3D 感知神經建模」，在不需乾淨 RGB 監督資料的情況下，將極度擾亂的 RGB 觀測與 NIR 線索在 3D 空間中隱式融合，從而有效恢復乾淨的 RGB 影像。
- 提出的模型條移除了對清潔 RGB 監督資料的收集需求，並具備跨不同噪點等級的泛化能力。
- 透過 3D 空間的隱式融合技術，將近紅外線索與「極度擾亂」的 RGB 觀測結合。
- 在合成與真實資料集上進行了廣泛評估，證明瞭其效能優勢。
- 研究團隊已在 GitHub 上公開了具體的實作程式碼。