登錄
註冊
據 Woofun AI 消息,工作流自動化平臺 Zapier 與評估機構 Artificial Analysis 合作,推出獨立 SaaS 工作流自動化評估基準測試工具 AutomationBench-AA。該工具基於 Zapier 平臺構建,涵蓋 657 個多步驟任務及 40 個模擬 SaaS 軟件環境,旨在爲第三方提供公正評估結果。
測試核心環節設定了嚴格的安全與合規約束,要求大型模型在不違反預設企業業務規則前提下完成操作,一旦違規任務得分直接歸零。初步評估顯示,受合規處罰影響,多數大型模型得分大幅下降,無一超過 50%。其中,採用特定安全評級下調機制的 Claude Fable 5 綜合得分爲 48.6%,Gemini 3.5 Flash 和 GPT-5.5 分別爲 42.6% 和 42.1%,開源領先模型 GLM-5.2 得分僅爲 27.8%。