>
正文
Zapier推出AI自動化基準測試,頂級模型得分腰斬
2026-07-07 19:15

據 Woofun AI 消息,工作流自動化平臺 Zapier 與評估機構 Artificial Analysis 合作,推出獨立 SaaS 工作流自動化評估基準測試工具 AutomationBench-AA。該工具基於 Zapier 平臺構建,涵蓋 657 個多步驟任務及 40 個模擬 SaaS 軟件環境,旨在爲第三方提供公正評估結果。

測試核心環節設定了嚴格的安全與合規約束,要求大型模型在不違反預設企業業務規則前提下完成操作,一旦違規任務得分直接歸零。初步評估顯示,受合規處罰影響,多數大型模型得分大幅下降,無一超過 50%。其中,採用特定安全評級下調機制的 Claude Fable 5 綜合得分爲 48.6%,Gemini 3.5 Flash 和 GPT-5.5 分別爲 42.6% 和 42.1%,開源領先模型 GLM-5.2 得分僅爲 27.8%。

免責聲明:本內容為作者獨立觀點,不代表平臺立場。未經允許不得轉載,文中內容僅供參考,不作為實際操作建議,交易風險自擔。
標簽:
Zapier
AutomationBench-AA
Claude Fable 5
Opus 4.8
Gemini 3.5 Flash
GPT-5.5
GLM-5.2
Artificial Analysis
分享:
back