ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

將 CVE 對應至 MITRE ATT&CK 技術:經驗證的金標準分類器與 LLM 標籤擴充套件的極限

工具 1 個來源 · 8 天前
為何重要

對於防禦性安全團隊而言,這項成果提供了一套將原始漏洞資料精準對映為可執行威脅指標的工具,有助於提高風險偵測的精確度。 - 這項研究對技術決策者具有警示意義,證明瞭在低品質標註下使用 LLM 是一場陷阱,模型往往因為 LLM 的幻覺與噪訊而劣化。 - 從投資角度來看,這揭示了 AI in Security 的核心不在於僅堆疊模型能力,而在於資料品質與策展過程,這將改變市場對於網安解決方案商業化路徑的預期。

本研究提出一個重現性管道,將常見漏洞與指陰的免費文字描述,對應至 MITRE ATT&CK 企業階段技術,跳脫傳統依賴表單擴充的鏈條方法。

  • 研究團隊建立了一個受專家認證的 1,207 個 CVE 黃金資料集訓練多標籤分類器,其 Recall@5 指標約為零輸出嵌入相似性基準的兩倍。
  • 分析顯示,初期利用 LLM 進行標籤擴充看似有成效,是因為在小型測試集上選擇 Checkpoint 所產生的評估噪音所造成。
  • 最終擴充研究證實,LLM 生成的標籤僅與專家註解約有 0.39 的共識;在特定規模下反而會減少罕見技術的涵蓋率,且無法改善 Macro-F1 值。
MITRE ATT&CKCVELLMClassificationSecurity

來源 · 1 篇報導

首發 Hugging Face Daily Papers huggingface.co 04:00