世界行動代理：透過世界行動排練運用 VLMs 進行機器人操作
為何重要
本研究解決了通用模型 目前多侷限於觀察場景、難以參與實體操作的痛點，證明瞭透過結構化工作空間與模擬預演，可大幅增強機器人的動作規劃能力。對開發者而言，這顯示出建立得當的框架能讓成熟的大型語言模型直接賦能機器人，降低硬體改寫門檻。
傳統機械臂難以直接利用大規模視覺語言模型（VLMs）進行操作，新提出的 World Action Agent (WAA) 透過視覺行動空間與排練機制，讓 VLMs 能以多代理模式引導機器人使用基礎工具完成任務。
- WAA 在 LIBERO-Pro 資料集上實現 75.6% 的平均成功率，超越端對端 VLA 系統與程式型代理。
- 僅從 LIBERO-90 資料演化出的技能，未經額外訓練即可在 robosuite 專案中發揮作用。
- 將 Qwen3.5-9B 在 WAA 互動軌跡上進行微調後，其跨領域成功率從 1.7% 顯著提升至 43.3%。