LoopCoder-v2:僅需兩次迴圈即可達到高效能測試運算擴充套件
為何重要
揭示了 Test-Time Computation Scaling 的黃金比例:在平行迴圈架構中,兩次迴圈通常比隨著迴圈次數增加所帶來的表徵精煉更具效益。
研究提出 LoopCoder-v2,這是一個在 18T tokens 上訓練的平行迴圈 Transformer(PLT)程式碼模型家族。實驗顯示,兩次迴圈變體比基線在 LLM 上表現出更廣泛的增益(SWE-bench Verified 從 43.0 提升至 64.4),但三次或更多迴圈會導致效能衰退。