2025年8月，OpenAI因GPT-5编程能力测试问题引发争议。官方使用的SWE-bench Verified基准本应包含500道题，但OpenAI自行删减23道，仅用477道题评估，导致结果存疑。若将删减题目默认为零分，GPT-5得分甚至低于Claude Opus 4.1，两者差距仅为0.4%。这一操作延续了GPT-4.1发布时的做法，理由是部分题目无法在其基础设施运行。更讽刺的是，SWE-bench Verified本身是OpenAI提出并优化的基准。与此同时，Anthropic明确指出其Claude 4系列模型基于完整500题测试，表现优于GPT-5。目前，最原始的SWE-bench榜单中，Claude 4 Opus仍居首位。

2025年8月12日，OpenAI因GPT-5在SWE-bench Verified测试中被质疑作弊引发争议。测试显示GPT-5得分74.9%，略高于Claude Opus 4.1的74.5%，但GPT-5仅完成477道题，少做23道难题，理由是‘基础设施无法运行’。分析机构SemiAnalysis指出，若将未答题算零分，GPT-5成绩会下降。此外，OpenAI推出的SWE-bench Verified测试集经过筛选，剔除了高难度题目，被批评为‘既是裁判又是选手’。而在更原汁原味的swebench.com榜单上，Claude 4 Opus反而领先。同日，OpenAI内部模型在IOI 2025竞赛中取得AI组第一，但该版本与公开版性能有差距。争议背后，AI竞赛中的微小差异成为营销焦点，但用户更关注价格优势，GPT-5价格仅为竞品的十分之一。

OpenAI公司于8月13日发布新闻稿，宣布推出SWE-bench Verified基准，以更精确地评估AI模型在代码生成任务中的表现。SWE-bench是一个用于评估大型语言模型（LLM）解决GitHub上实际软件问题能力的数据集，包含来自12个流行Python仓库的2294个Issue-Pull Request对。然而，原版SWE-bench存在三个主要问题：单元测试过于严格、问题描述不清晰及开发环境设置困难。SWE-bench Verified通过引入容器化Docker环境，解决了这些问题，提高了评估过程的一致性和可靠性。结果显示，GPT-4在新基准上解决问题的比例显著提升至33.2%，而最佳开源代理框架Agentless的得分则从之前的8%增加到16%，这表明SWE-bench Verified更全面地评估了AI模型在软件工程任务中的实际能力。