透過提示工程將 GLM-5.3-Flash 轉裝為 Jev 模式的單次推理決策系統
為何重要
此技術路線證實，透過推論層面的最佳化（不再仰賴微調），通用 LLM 即可擔任精準的決策代理，顯著降低企業在建構高吞吐量決策系統時的模型維護成本與複雜度。同時，研究證明瞭選項數量多寡對準確度的物理限制（如 TREC 資料集從 6 選增至 42 選時準確度驟降），指出了人類決策邏輯與 LLM 限制的共通性。
技術團隊展示如何透過特定的 Prompt 結構與推論框架配置，將通用大型語言模型轉換為單次前傳即能輸出多元選項機率分佈的決策模型，並支援圖片輸入，效能匹敵專用的 Jev 模型。
- 在 29 個公開資料集的評測中，GLM-5.3-Flash 的決策準確度與 TypeSafe 的 Jev 模型旗鼓相當，平均差距僅 0.7%，而在三個系統中準確度最高。
- 該方法利用 vLLM 的
allowed_token_ids限制輸出空間、並用logprob_token_ids擷取精確機率，克服了 token 限制與格式符號幹擾的問題，回應時間維持在數百毫秒內。 - 即使將溫度設為 0，由於伺服器批次處理與浮點運算關係，相同前傳的答案仍可能產生最高 3.5% 的變動。