Phi-Bench：大型語言模型能否設計支撐其運作的基礎設施？
為何重要
這項研究填補了從「生成程式碼」到「設計及調校執行環境」的評測空白，證明儘管 LLM 編碼能力精進，但在 kernel 層級封裝與全棧系統調優能力上仍存在明顯退化問題。對產業而言，這意味著當前的 AI Agent 仍多侷限於專注於單一功能的應用程式開發，未來若要實現真正的基礎設施自主管理，必須大幅突破模型在長期執行與複雜系統整合層面的限制。
隨著大型語言模型在邏輯推理與編碼上展現能力，研究團隊開始探索其是否能協助開發與最佳化支撐自身的基礎設施，然而現有基準多聚焦於靜態任務，無法評估長週期的「開放式工程」能力。
- 研究團隊提出 Phi-Bench 基準，專門用於系統化評估大模型設計與最佳化 LLM 基礎設施堆疊的能力。
- 該評測涵蓋範圍極廣，任務複雜度由單點的 kernel 層級函式自動補全，延伸至長期規劃的實作與端對端系統最佳化。
- Phi-Bench 的測題源自前沿研究的最佳化問題及真實世界的程式碼儲存庫，旨在揭示當前領先 LLM 在工程化基礎設施上的現況與瓶頸。