EduPanel：用於教學影片的三代理 LLM 評判者
為何重要
此研究切中了 LLM 評估領域的痛點，證明瞭「情境條件化」與專門代理架構能顯著提升評估的可靠性，而非依賴通用模型的判斷。對於教學科技與內容產業而言，這代表未來可以建立更客觀的自動化品質把關機制。然而，這目前仍屬學術研究範疇，尚未商業化，除非其架構能被整合入現有的影片平臺工具中。
隨著教學影片成為主流教育媒介，自動化評估其教學品質的需求日益增加，但現有自動評判無法充分處理多模態證據及因應針對特定學習者的評量。EduPanel 提出了一種依據評分規則、且結合學習者情境的多代理 LLM 評判架構，將評估程式分解為多個專門代理以產生可解釋的結果。
- EduPanel 是一種結構化的 LLM 評判者，透過研究者制定評分規則，並根據預期的學習者條件進行評估。
- 在專家評估中，該系統的反饋能將評分準確度從 MAE 0.87 大幅改善至 0.73。
- 研究結果顯示 EduPanel 的可靠性可比肩中位數人類專家，且專家仍保有檢測不可靠輸出（AUC = 0.77）的能力。