1Password Off-by-1 Labs 研究報告 FLAWED 的系統性錯誤與產業研究標準檢討
為何重要
此事件突顯了大型產業實驗室擁有龐大的資源與行銷優勢，可能會掩蓋缺乏資源的獨立研究，甚至誤導業界的防禦路線。如果防禦者依據有缺陷的基準調整資源，將導致真實的 AI 安全風險被低估。投資者應警覺，在 LLM 安全領域，學術界的嚴謹驗證機制對於檢查企業宣稱與偏見至關重要。
1Password 的 Off-by-1 Labs 發布了關於前沿模型漏洞修復的報告（FLAWED），但該研究受到研究社群（包括 Trail of Bits 與 Davi Ottenheimer）的強烈反響，指出其存在嚴重的誤導性評估與學術規範違背。
- 該報告僅引用 19 個來源（主要為公司部落格和 XKCD 漫畫），而同期具有可比較性質的學術論文「PatchBench」卻引用了 73 個來源。
- 報告內部存在算術錯誤（如將 2.8 誤標為「大約 4」）、錯誤的圖表位置，且圖表上聲稱存在的星號符號實際上並不存在。
- 該報告未引用重要的先驅工作，包括 Meta 的 AutoPatchBench 以及關於 LLM 安全研究陷阱的關鍵論文。