強化 NVIDIA TensorRT 引擎建置的可觀察性與取消機制
為何重要
此功能解決了長時間推理鏈中基礎模型最佳化階段的黑箱問題，對於依賴 GPU 叢集執行的雲端服務與 AI Agent 來說，能有效防止因建置卡死導致的資源浪費，提升系統可用性與營運效率。
NVIDIA TensorRT 引擎建置耗時可達數分鐘，過往缺乏進度反饋導致 AI Agent 或開發者難以判斷狀態或接管程式，容易浪費 GPU 資源。官方在 NvInfer.h 提供了 IProgressMonitor API，讓開發者可以在 Python 或 C++ 中覆寫三個方法來監控巢狀建置階段並攔擷取消請求。
IProgressMonitor支援巢狀階段追蹤、多執行緒安全，並透過step_complete回傳布林值控制是否繼續或取消。- 建置流程耗時從「數秒」到「許多分鐘」不等，過往整合通常只報告零資訊且無中斷機制。
- 實作範例可結合終端機、IDE、HTTP 服務或 Agent runtime，支援 Ctrl-C、HTTP webhook 或 IDE 按鈕等中斷方式。