開源：利用 Agent 自動最佳化 CUDA Kernel 的工具
為何重要
透過 AI 驅動底層硬體最佳化，大幅降低了 CUDA kernel tuning 的技術門檻與時間成本，展示了 LLM 驗證與微調生成式程式碼的實用性。儘管當前仍屬實驗性質且非通用解決方案，但該工具為開發者在面對特定謎題時提供了參考實作，並啟發了混合式硬體工程的自動化方向。
這是一個 HN 支援的 Agentic CUDA Kernel 最佳化工具，透過 LLM 生成程式碼、查詢檔案與分析 Nsight 效能計數器，自動執行改進迴圈。技術核心使用 C++ Harness 處理 CUDA Driver API 與 NVRTC 編譯，並以 Python 輔助比對 NumPy 輸出。執行時預設喚起 gpt-5-mini 進行具體的 kernel 與啟動引數調整，且支援利用 Nsight Compute 取樣進行兩階段驗證。排名邏輯排除了編譯時間，僅依據效能案例 10 次預熱與 100 次實測的幾何平均延遲值。