PackLab：用於機器人搬運貯箱任務中 MLLM 的開發與評估綜合框架
為何重要
PackLab 開源架構證明瞭 MLLMs 在長視距機器人決策上的潛力，打破了現有依賴 trial-and-error 的強化學習限制，具有建立標準化評估基準的潛力。對開發者而言，這提供了將大型語言模型應用於硬體控制器的新解法；對產業來說，這推動了 MLLMs 從內容生成走向具備環境感知與閉環執行的物理 Agent。
傳統機器人搬運貯箱依賴手工幾何啟發式演算法或試誤式的強化學習，而 PackLab 專門為此任務建立了一套開發、訓練與評估多模態大型語言模型（MLLMs）的綜合框架。
- PackLab-Suite：提供基於物理的模擬平臺，可產生多元化的訓練軌跡並評估物理表現。
- PackLab-VLM：專門針對搬運貯箱微調的多模態 LLM，能理解動態變化的物體與容器狀態，以封閉迴圈方式聯合選擇物體與預測擺放位置。
- PackLab-Bench：設計了多等級難度的標準化搬運貯箱場景，用於系統化評估模型效能。
- 實驗結果顯示，在物件集合與容器組態的各類測試中，PackLab-VLM 的平均表現優於傳統啟發式演算法、強化學習方法以及通用 MLLM。