據 Woofun AI 消息，OpenAI 發佈審計報告指出 SWE-Bench Pro 中約 30% 的題目不適合用於有效能力測評，並正式撤回此前對該工具的推薦建議。審計覆蓋 731 道公開題目，其中 27.4% 經自動化流程篩選、34.1% 經人工標註被判定存在缺陷，主要問題包括題目描述不完整、測試要求過於嚴格、包含隱藏測試項及測試覆蓋範圍不足。這些問題導致模型評分出現偏差，未通過測試未必代表缺乏能力，通過測試也未必意味着問題真正解決。

儘管最先進模型在該基準上的通過率在 8 個月內從 23.3% 升至 80.3%，但 OpenAI 強調在題目存在干擾因素的情況下需謹慎解讀這一數據，並呼籲社區共同開發更可靠的編程能力評估工具。