美軍近因 AI 幻覺險觸發對中軍事行動
為何重要
這起事件直指「指揮鏈的最前端」風險:當 AI 幻覺與人命攸關的高風險決策(如作戰規劃)掛鉤,缺乏信任基礎的自動化將難以被大規模採用。 對產業而言,這促使開發者與企業在設計軍事或高風險 AI 應用時,必須重新評估「內建監控」、「人機回環」與「幻覺修正機制」的必要性,而非僅追求推導速度。
CNN 報導指出,今年春季一場針對中國船艦的美軍作戰行動幾乎因依據 AI 產生的誤導情報而啟動,所幸指揮官最終取消行動以避免衝突。
- 該錯誤情報起源於特種作戰司令部(Special Operations Command)的分析師,他先後兩次使用 AI 整合公開資料與機密情報,導致船隻貨物清單辨識錯誤。
- 錯誤被格式化為具官方格式的外交通報並在指揮鏈中流廣,甚至誤判該船隻運載核武器元件。
- 專家常見觀點指出,五角大廈急於透過 AI 縮短指揮官的「殺戮鏈」(kill chain)反應時間,卻因缺乏充分的人力監督,容許高誤率的幻覺系統上行。