Anthropic 與研究者揭露詐騙婚戀 app 利用 Claude 與 LLM 回覆進行 'catfishing'
為何重要
凸顯 LLM 在娛樂應用之外，被不法人士轉化為進行情感操弄工具的潛在風險。這提醒開發者在防禦 AI 安全時，需將防護觸角延伸至模擬社交情境與詐騙等惡意使用場景。
研究團隊與 Anthropic 公開了一種透過 AI 進行的婚戀詐騙手法，造成數千名受害者。
- 詐騙者利用 platform 內的 LLM 生成自動回覆，以模擬與使用者的互動。
- 安全研究員 Matthew “Zigula” Gore-Kormanik 在分析詐騙 app “Dora” 時，收到的 pop-up 訊息顯示自己是來自 Jennifer 的通話。