登录
注册
据 Woofun AI 消息,工作流自动化平台 Zapier 与评估机构 Artificial Analysis 合作,推出独立 SaaS 工作流自动化评估基准测试工具 AutomationBench-AA。该工具基于 Zapier 平台构建,涵盖 657 个多步骤任务及 40 个模拟 SaaS 软件环境,旨在为第三方提供公正评估结果。
测试核心环节设定了严格的安全与合规约束,要求大型模型在不违反预设企业业务规则前提下完成操作,一旦违规任务得分直接归零。初步评估显示,受合规处罚影响,多数大型模型得分大幅下降,无一超过 50%。其中,采用特定安全评级下调机制的 Claude Fable 5 综合得分为 48.6%,Gemini 3.5 Flash 和 GPT-5.5 分别为 42.6% 和 42.1%,开源领先模型 GLM-5.2 得分仅为 27.8%。