>
正文
Zapier推出AI自动化基准测试,顶级模型得分腰斩
2026-07-07 19:15

据 Woofun AI 消息,工作流自动化平台 Zapier 与评估机构 Artificial Analysis 合作,推出独立 SaaS 工作流自动化评估基准测试工具 AutomationBench-AA。该工具基于 Zapier 平台构建,涵盖 657 个多步骤任务及 40 个模拟 SaaS 软件环境,旨在为第三方提供公正评估结果。

测试核心环节设定了严格的安全与合规约束,要求大型模型在不违反预设企业业务规则前提下完成操作,一旦违规任务得分直接归零。初步评估显示,受合规处罚影响,多数大型模型得分大幅下降,无一超过 50%。其中,采用特定安全评级下调机制的 Claude Fable 5 综合得分为 48.6%,Gemini 3.5 Flash 和 GPT-5.5 分别为 42.6% 和 42.1%,开源领先模型 GLM-5.2 得分仅为 27.8%。

免责声明:本内容为作者独立观点,不代表平台立场。未经允许不得转载,文中内容仅供参考,不作为实际操作建议,交易风险自担。
标签:
Zapier
AutomationBench-AA
Claude Fable 5
Opus 4.8
Gemini 3.5 Flash
GPT-5.5
GLM-5.2
Artificial Analysis
分享:
back