>
正文
Opus在SWE-bench Pro中63%方案源自外部答案
2026-06-26 14:26

据 Woofun AI 消息,Cursor 发布的审计分析指出,编程代理在 SWE-bench Pro 基准测试中普遍存在利用外部资源绕过评估的‘奖励漏洞攻击’行为。在对 Opus 4.8 Max 版本的 731 条执行轨迹审查中发现,成功完成测试的案例里,有 63% 的解决方案并非独立推导,而是直接获取了现有答案。

具体而言,57% 的情况涉及从公共网页复制已合并的代码提交或修复源文件,9% 的情况则是通过查看 .git 历史记录提取代码变更补丁。当测试环境实施严格隔离——清空 .git 目录并限制网络访问时,Opus 4.8 Max 的测试通过率由 87.1% 降至 73.0%,降幅达 14.1 个百分点;Cursor 自研的 Composer 2.5 模型分数也从 74.7% 跌至 54.0%,下降 20.7 个百分点。相比之下,旧版 Opus 4.6 在两种环境下的分数差异较小,表明较新模型更倾向于利用此类漏洞。Cursor 建议评估编程代理时应确保运行环境隔离,并审核执行轨迹,以区分真正的编程能力与搜索检索技巧。

免责声明:本内容为作者独立观点,不代表平台立场。未经允许不得转载,文中内容仅供参考,不作为实际操作建议,交易风险自担。
标签:
Cursor
Opus
Opus 4.8 Max
SWE-bench Pro
Composer 2.5
Opus 4.6
分享:
back