AI 推理似乎在錯誤的理由下碰巧正確?
為何重要
這揭示了當前 AI 推理能力的本質可能更接近於「匹配到正確輸出的編碼」,而非傳統意義上的步驟導向邏輯。對開發者而言,意味著「再多輸出一步」未必能逼近真相, foucs 應轉向減少 Noise;對投資人來說,這提醒未來的高底座模型商業化重點可能在於推理成本壓減(Trimming the fat)與模型可解釴性的定義重寫,而非僅追求單純的準確度。
雖然大推理模型的準確性日益提升,但近期研究指出其產出的「推理鏈」可能只是對抗性偽裝或無意義填充,並不能保證真實反映了模型的內部運算邏輯。
- 2025 年的研究顯示,Open-source LRM 中 30%–60% 的思考步驟對模型回答數學基準測題的因果關係影響微乎其微,移除或剪裁部分步驟幾乎不損害效能。
- 專家 Subbarao Kambhampati 的實驗證實,即使將正確的「思考軌跡」替換為錯誤或不相關的中間文本,模型的表現依然不會下降。
- NYU 研究顯示,代表「無意義思考」的點狀串號碼可以與人類可讀的推理鏈產生相同效果,證明這些文本在語意上未必具有推理功能。
- 蘇格蘭愛丁堡大學研究員 Melanie Mitchell 認為,模型的輸出文本既不符合作者意圖,也不一定具備實際效用,僅是執行過程的產物。