建構生產級高階 Agent 指揮架構
為何重要
這篇文章為將從 Demo 級 Agent 進化至可商業化的生產系統提供了關鍵的工程藍圖，開發者可藉此學習如何在未使用重型框架的情況下，透過微服務化與狀態管理來確保可靠性與高效率。
本文將單純的 LLM 呼叫邏輯升級為具備計畫、計畫圖、併發執行與成本控制的生產級 Agent 系統，透過解耦協調器與模型，將穩健性與可測試性置於核心設計。
- 引入 DAG（有向無環圖） 與 level-synchronous executor，讓九個獨立的工具呼叫（如三人城市比對任務）在滿足依賴條件時，可利用
asyncio.gather同時並行執行，極大縮減延遲。 - 使用 Pydantic 定義工具引數，自動產生符合 Anthropic 與 OpenAI 期待的 JSON Schema，結合 cost_hint 進行執行時驗證與費用帳戶計算，避免模型對引數的誤將。
- 構建 MockProvider 與基礎類別來抽象所有 LLM 呼叫，使開發者能分離「協調邏輯錯誤」與「模型規劃不佳」，確保任何機器上的實驗皆可完全重現。
- 實施多維度並發控制，使用 Semaphore 限制同時執行的節點數量，防止系統因過多並行 LLM 呼叫而觸發速率限制或因成本失控而中斷。