EDGEGEN：超越單一路徑，利用合成邊緣案例生成增強工具呼叫 Agent 效能
為何重要
EdgeGen 針對 LLM Agent 評估與微調的資料瓶頸提供了一個自動化的解決方案，特別是通過處理「長尾」邊緣案例來彌補 Happy Path 的不足。這對於將 Agent 正式應用於金融、客戶服務等嚴謹領域的企業至關重要，因為高基準的可靠性直接決定了商業化產品的市場接受度，同時降低了維護代價。
在企業應用中部署的工具召喚 LLM Agent 正日益普及，但評估與最佳化需要高品質且多樣化的任務資料集，往往因隱私和其他限制而難以獲得。現有的合成任務生成方法常產生通用任務，忽略 Agent 的內部狀態或資料庫，且未能反映真實世界的使用多樣性。EdgeGen 提出一種合成任務生成框架，從 Agent 規格中擷取合規規則，並利用這些規則生成違反規則的資料庫根據輿情/邊緣案例任務。結合現有技術後，它形成一個無需人工標註的全自動閉環系統，可用於微調與 harness 最佳化。
- 從 Agent 規格中提取合規規則，用於生成旨在違反這些規則的資料庫根據輿情/邊緣案例任務。
- 與現有合成資料生成技術結合，形成一個無需人工標註的全自動閉環系統。
- 在 tau2bench airline domain 的微調中，平均進步幅度為 2% 至 42%。
- 在 harness 最佳化方面，對 Gemma-4-e4b 模型顯示平均進步比分別比人工策劃和基礎 harness 高 10% 和 30%。