大型語言模型 在動態使用意圖中迷失
為何重要
這項研究揭示了當前 LLM 評估體系的盲點：現有名為「強模型」的實體，若在評估中忽略了對話的動態性，可能其實並不具備適應協作需求的能力。這對於開發具備反思與修正能力的 Agent 產品構成首要技術障礙，也暗示了現有 Benchmark 的硬體預訓練與真實使用場景之間存在「Gap」。
隨著大型語言模型 被部署為協作代理，真實的人機互動通常是動態的，使用者往往不會在最開始就完全指定意圖，而是隨著對話揭示與修正。然而，現有模型多在靜態、單回合設定下被評估與訓練，導致效能不足。研究團隊提出框架，將靜態任務轉換為多回合對話，模擬使用者意圖演變的過程，結果發現模型的表現會大幅下降。
- 該框架保留了原任務的評估協議，讓現有基準 能被重用為受控測試涵蓋，無需新增人工註解。
- 在模擬動態意圖的設定中，即使是強模型在單回合表現優異的情況下，依然出現了顯著的效能落差。
- 結論指出 LLM 目前缺乏忠實追蹤並執行「演變中」使用者意圖的能力，這是未來協作代理 的關鍵弱點。