超越既有歷史：基於對齊使用者模擬的角色扮演互動評估
為何重要
傳統評估 RPAs 的方法依賴固定對話歷史與通用規則，忽略了使用者個體差異與真實多輪互動的沈浸感，導致評價結果與實際使用體驗脫節。 PALATE 提供的個人化評估機制，能更精確反映系統在不同使用者情境下的表現，為 RPAs 的訓練與調優提供高品質資料指引。 此衡量標準的轉變促使開發者關注「情境歸因」而非通用能力，推動角色扮演應用從通用對話邁向深度互動體驗。
Role-playing agents (RPAs) 為大型語言模型重要應用，現有評估常依賴固定對話歷史與通用評分標準，難以反映真實多輪互動情境。
- 研究提出名為 PALATE 的可擴充套件 RPA 評估基準，利用使用者模擬器來解決評估準確度問題。
- PALATE 搭載 300 種角色檔案，並針對每位使用者訓練 5 個「Per-User」模擬器，讓候選 RPAs 進行免責形式、多輪對話。
- 在主要評估中，篩選了 16 個 RPA 候選者進行測試，結果顯示個人化評分標準比通用標準更準確。
- PALATE 發布了可解讀的使用者-RPA 配對評估，而非僅有單一的系統統一排名。