ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

騰訊發布 WorkBuddy Bench:抗汙染的編碼代理多領域評測套件

工具 1 個來源 · 13 天前
為何重要

WorkBuddy Bench 以抗汙染與真實情境重構的建構方法,指出了當前編碼代理評測體系的重大缺陷,為產業提供了一個更高可信度的標準。它不僅測試生成程式碼的能力,更試圖驗證代理在辦公與安全等非純技術場景下的實用價值。這意味著未來開發者與投資人將更重視代理模型在「上下文感知」與「實際業務流程整合」上的表現,而非單純的程式碼生成輸出。

騰訊推出了 WorkBuddy Bench,這是一個專為編碼代理設計的多領域評估套件。 - 每個任務皆從真實的 commit、pull request 或業務場景反向構建,並改寫為角色扮演請求,以確保任務提示字串無法透過網搜還原(抗汙染)。 - 評測涵蓋程式碼、網頁、辦公與安全四大領域,包含儲存庫工程、前端開發、辦公業務流程及紅藍隊安全等四個子集。 - 完全開源釋出,包含任務目錄、環境映像、評測工具、測試與參考解法,並在 CodeBuddy Code 和 Claude Code 兩個框架上進行統一評測。

Tencent WorkBuddy BenchCoding AgentBenchmarkClaude CodeOpen SourceWorkflow

來源 · 1 篇報導

首發 Hugging Face Daily Papers huggingface.co 04:00