RiskChainBench：檢測加密平臺訊息還原與實據導向網路調查的評測基準
為何重要
此基準測試具體量化了多模態大型語言模型（VLM）在進行網路安全代理任務時的執行不穩定性，揭示了訓練模型在面對反偵測機制時的容錯率仍顯不足。對於開發者而言，這標誌著「能看懂加密資訊並將其導向正確調查」的 Agent 技術已成為防護惡意網站的新戰場。整體而言，這是 AI 應用從單純的自然語言理解向複雜網路互動與安全研判深化的關鍵里程碑。
反詐騙平臺常利用表情符號、同音字與文字拆解等手法隱藏指示，將使用者導向色情、詐欺或賭博等風險網站。現有評測基準往往只單獨檢視混雜文字或風險網頁，忽略了訊息還原如何影響後續實據的取得。研究團隊推出 RiskChainBench，旨在評估模型在不依賴特定語義與網域聲譽下，對加密訊息的恢復能力及其驅動網路代理調查風險網站的成效。
- 資料規模：包含 3,600 個合成 Token 文字還原輸入、600 個原始閱讀 sessions 與 600 個人類標註的本地網路環境。
- 雙階段評估：模型先還原訊息與意圖，再作為 VLM 驅動的網路代理調查目標網站並產出具引證的風險報告。
- 效能資料：在 10 種模型的測試中，Entry Top-1 準確範圍為 35.2% 至 95.2%，網站決策準確度為 26.3% 至 62.8%。
- 運作瓶頸：網路執行失敗佔所有網路執行的 31.9%，顯示穩定的探索與風險判斷是當前的主要挑戰。