跳脫 LoRA：最受歡迎的微調技術真的最佳選擇嗎？
為何重要
- 開發者長期依循 LoRA 這種「隱形慣例」，忽略了可能存在更優的記憶體或效能權衡方案，此研究提供了打破框架的必要性。 - Hugging Face 的基準測試試圖解決學術界論文自訂比較標準與不易複現的問題，提供具體、可重現的實務參考工具。 - 這顯示出主流技術可能因為生態系慣性而產生自我強化迴圈，AI 工具供應商應重視基準測試的公正性與工具的可訪問性。
- 由於直接微調大型語言模型記憶體消耗極高，業界廣泛使用引數高效微調（PEFT）技術，其中 LoRA 是最受青睞的方法。
- 統計顯示，在 Hugging Face Hub 上提及單一 PEFT 技術的 20,834 張模型卡中，有 98.4% 標記為 LoRA；GitHub 上搜尋 PEFT 相關程式碼的結果中，亦有 71.3% 指向 LoRA。
- Hugging Face 官方執行了受控基準測試，在數學推理與影像概念學習等場景中測試多種方法，發現實際效能可能超越 LoRA，挑戰其絕對主流地位。