能否以 MUD 評估大模型？99 美元的驗證概念測試
為何重要
當前的靜態基準測試難以衡量模型在信任建立與資訊門檻下的實際行為，CrucibleBench 提供了一個具備產業意義的低成本驗證解決方案，凸顯出傳統評分方式容易受到「LLM 裁判偏差」的影響。對於開發者而言，這種基於持久世界的行為評估能更精準地最佳化 Agent 的互動邏輯；對產業界，這意味著未來的模型評比需強調「消融實驗」與各維度的排名穩定性，以免單點偏差造成判斷錯誤。
CrucibleBench 匯入任天堂設計哲學，利用成熟的文字遊戲 MUD 作為低成本評測環境，以驗證大模型在受限指令空間與持久狀態下的社交智慧。實驗顯示，單一 LLM 裁判可將模型排名重排行至六位之差，但早期聚合可靠性統計卻毫無異常。此外，該方法能有效偵測硬體模型在對話迴圈與環境狀態追蹤上的失敗模式。