ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

Beacon:更智慧的多模態代理視覺推理架構

研究 1 個來源 · 6 天前
為何重要

Beacon 解決了當前 MLLM 在實務應用中常遇到的「工具過度使用」痛點,透過精準的工具執行策略,在不犧牲基礎能力的情況下提升整體推理 ROI。對開發者來說,這種以 RL 駕馭的經驗式工具管理機制,為建構長鏈程式碼或決策代理提供瞭更可靠的技術路徑,有助於降低不必要的算力消耗。

研究提出了重新定義「代理視覺推理」的新框架,旨在透過衡量工具使用的適應性與效果,來提升大型視覺語言模型(MLLMs)解決複雜任務的效率。

  • 定義 Mode Adaptiveness (MA)Tool Effect (TE) 兩個維度,指標化模型判斷何時需要工具以及工具是否真的擴充套件了能力。
  • 發現現有模型的 MA 表現有限,且工具在難題上的增益常被對於已能解決的簡單問題造成的額外錯誤所抵消。
  • 提出 Beacon,在 RL 階段匯入 Necessity-Aware Adaptive RewardHint-Guided Capability Expansion mechanism,顯著提升了工具的感知與使用效能。
BeaconMLLMsAgentic Visual ReasoningMode AdaptivenessTool Effect

來源 · 1 篇報導

首發 Hugging Face Daily Papers huggingface.co 04:00