据 Woofun AI 消息，OpenAI 发布审计报告指出 SWE-Bench Pro 中约 30% 的题目不适合用于有效能力测评，并正式撤回此前对该工具的推荐建议。审计覆盖 731 道公开题目，其中 27.4% 经自动化流程筛选、34.1% 经人工标注被判定存在缺陷，主要问题包括题目描述不完整、测试要求过于严格、包含隐藏测试项及测试覆盖范围不足。这些问题导致模型评分出现偏差，未通过测试未必代表缺乏能力，通过测试也未必意味着问题真正解决。

尽管最先进模型在该基准上的通过率在 8 个月内从 23.3% 升至 80.3%，但 OpenAI 强调在题目存在干扰因素的情况下需谨慎解读这一数据，并呼吁社区共同开发更可靠的编程能力评估工具。