StateAct：針對長範圍電腦使用代理，優先處理程式狀態而非畫素畫面
為何重要
此研究顯示，未來的操作型 AI Agent 可以從「圖形使用者介面（GUI）優先」轉向「後端程式狀態優先」，這大幅降低了系統對易失性畫素資訊的依賴。透過直接操作程式碼與狀態，不但將錯誤率從「看錯畫面」的感知問題轉化為「想錯邏輯」的推理問題，還能將運算成本降低約 9 倍。這意味著長範圍、高可靠度的自動化工具開發，可能不再需要依賴昂貴的多模態視覺模型，而是更仰賴強大的程式邏輯處理能力。
傳統 Computer-use agents（電腦使用代理）依賴螢幕截圖來最佳化感知能力，StateAct 則提出一種以程式碼為中心且具隔離性的多代理架構，讓主代理直接存取底層程式狀態。在 108 個任務的測試中，僅有 28 個需要 GUI 子代理介入；而未加入 GUI 子代理的純程式碼版本不僅表現落後螢幕截圖基準，也未能展現出更優的效能。StateAct 將效能瓶頸從對畫素資訊的讀取轉移到對程式狀態的推理。