AISPA：針對大型語言模型應用的使用者導向系統提示詞審計系統
為何重要
這研究揭露了商業 AI 應用透明度與安全性的深刻落差，即使廠商有防護措施，仍可能隱藏忽略使用者權益的指令。此發現迫使產業正視系統提示詞的標準化與監管必要性，並點出了一個未來的服務藍海：專注於提供客觀、可追溯的 AI 系統提示詞審計服務。
系統提示詞雖然控制著 LLM 的行為，但在商業應用中卻鮮少對外公開，造成了信任與責任歸屬上的隱憂。研究者提出了 AISPA 框架並審計了 88 個商業產品中的 3,249 個指令，發現雖然防護性指令普遍，但深入保護的使用者體驗仍不足，且仍有高比例產品包含損害使用者利益的指令。
- 發表了 AISPA 框架，從八個使用者關注的維度審計系統提示詞。
- 審計了 88 個商業 AI 產品中的 3,249 個系統提示詞指令，進行分類分析。
- 發現只有 24% 的產品涵蓋了 AISPA 分類法中的所有八個維度。
- 約 40% 的產品至少包含一項與使用者利益衝突的有問題指令。