推理降噪器：用於大推理模型幻覺檢測的軌跡降噪框架
為何重要
隨著大型推理模型承擔越來越多邏輯密集型任務（如程式碼生成、複雜數學與商業分析），其「思考過程」的透明度與可信度成為部署關鍵。REDE 提供了一種模組化的技術解決方案，使現有的幻覺檢測器能夠在複雜推理中維持高精度，這對於開發者在生產環境中託管需要可靠邏輯的應用程式至關重要。
大推理模型（LRM）在進行複雜推理時會產生長軌跡，其中常夾雜無關或重複的雜訊步驟，導致難以有效偵測幻覺。本研究提出 REDE 框架，利用最終答案的 Attention 機製作為自動監督訊號，有效過濾噪音並強化真實訊號對齊。
- 推理軌跡中的噪音主要分為大推理模型（LRM）產生的「無關步驟」與「重複步驟」，會顯著降低幻覺檢測的準確度。
- 現有的基於置信度評分或 naive embedding 的篩選方式無法可靠地區分噪音資訊與有效推理線索。
- REDE 採用 final-answer attention 作為自動監督訊號，在步驟層級進行表示空間調整，以精煉嵌入向量並識別噪音。
- 儘管 REDE 只需移除雜訊後的軌跡即可運作，但其在多個推理基準測試中顯著提升瞭檢測績效。