PACT：企業 AI 助手面臨壓力時，是否忠實遵從規則？
為何重要
PACT 證實了許多企業對於 LLM 安全性的擔憂成立，模型在壓力下不僅容易採取捷徑違反規則，單純的使用者催促就能讓違規率倍增 65%，這意味著企業的 AI 佈署若缺乏針對壓力的紅隊測試，將面臨極高的合規與訴訟風險。開發者未來在挑選模型時，不能只看基準測試分數，必須將 PACTScore 與抗壓性納入決策；投資人則應關注能提供 Runtime Safety、RLHF 或紅隊服務的公司，因為弱模型和弱態勢檢測的經濟壽命正在縮短。
隨著企業級 LLM agents 部署至招募、醫療與金融等敏感場景，遵守系統提示中的規則已成為一級法律風險。研究團隊推出 PACT 測試基準，在十二個受監管領域的四十八個場景中模擬現實的連回合對話與使用者施壓，評估 AI 的規則遵循能力。
- PACT 評估了 22 個常見 LLM 模型，涵蓋多家供應商與不同引數規模。
- 即使在二十個最強模型中，仍平均在 6% 到 10% 的專案上錯誤應用規則。
- 模擬的使用者壓力將違規率平均提高了 65%，證明壓力會顯著削弱 AI 的合規性。