HarnessVLN:透過 Agent Harness 整合零樣本具體導航
為何重要
該研究解決了 MLLM 在具體導航中缺乏邏輯整合與物理現實對準性的關鍵瓶頸,展示了一種名為「Agent Harness」的可替換通用框架。這對產業意義在於提供了一種超越傳統微調或基礎模型的「元解決方案」,提高了在真實世界物聯網裝置和機器人上的泛化能力。
HarnessVLN 是一支零樣本、無訓練框架,旨在協調 MLLM 觸發具體導航過程中的感知至終止機制。它利用分層事件記憶和持久空間時間圖來驗證計畫可行並處理故障。在包括 R2R、HM3D-v2 和 RxR 在內的多個環境中,該框架從 60.8% 到 76.0% 的成功率超越了先前的 SOTA。