記憶也可能說謊：VLM 代理人在空間記憶時效性上的實證研究
為何重要
這項研究將空間記憶「過時」正式定位為模型安全性的關鍵失敗模式，指出僅依賴 LLM 的推理能力不足以應對具身智慧或自主代理的真實環境互動挑戰。對開發者而言，構建穩定代理不再只是模型能力的比拼，更是關於如何可靠地驗證「記憶」與「現實」一致性的系統設計問題。對產業而言，這意味著 AI Agent 要走向企業級落地，必須先解決記憶審計與衝突處理的基礎架構問題。
研究發現，具備持久空間記憶的 VLM 代理人雖能利用知識做決策，但隨著環境變化，舊有記憶可能過時且與當前觀察衝突，導致安全風險。
- 實驗使用動態 FrozenLake 平臺，在三種閉源模型和三種開源權重 VLM 上，共進行了 1,800 次偵測任務與 12,000 個文字模式導航場景。
- 模型在文字邏輯上的可靠性不代表具備視覺落實能力；在同一棋盤上，視覺 F1 分數可能從 0.887 驟降至 0.067。
- 在主要 GPT-4o 設定中，單純信任原始記憶的代理人死亡率比完全不使用記憶的代理人高出兩倍以上。
- 雖然讀取時過濾濾鏡可降低文字模式的風險，但即便有「神諭」精確標籤，在當前棋盤尺寸下也無法顯著提升，且視覺審計不可靠時濾鏡便無效。