更可靠的 AI 程式碼註解檢測器
為何重要
這顯示了在缺乏大型商業基模的情況下，透過特徵工程與巧妙的資料合成策略，仍能構建出高效的模型檢測工具。對於關注帳號安全與開源秘密的機構而言，這提供了一個低成本、可量化的「人機混雜」檢測方案；雖然整體混淆矩陣顯示約 25% 的整體誤判率，但具備「信心度閾值」的校準機制意味著其適合用於輔助篩選而非終極判斷。
作者重新建置了程式碼註解分類器，改用公開資料取代私人資料並提升基礎架構，新增了可解釋性強大的 UI 功能；此外，當判讀信心度超高時，能大幅提升準確率。
- 在人機註解機率各半的假設下，平衡精確度為 77%。
- 當模型對判讀的信心度達 80% 以上時，假陽性（誤將人類判為機器）風險會降至 5%。
- 若規劃周全，獲取訓練資料的成本預估約為 30 美元（目前實際更高），主要用於區分相近模型。