2025年9月,Scale AI发布新基准SWE-BENCH PRO,用于评估大语言模型的编程能力。结果显示,GPT-5、Claude Opus 4.1和Gemini 2.5分别以23.3%、22.7%和13.5%的解决率位列前三,但整体表现远低于此前SWE-Bench-Verified的70%平均正确率。研究人员指出,SWE-BENCH PRO通过全新题目避免数据污染,任务复杂度更高,涵盖1865个多元化代码库。深入分析表明,GPT-5在已提交任务中准确率达63%,显著优于其他模型,但未回答率高达63.1%。此外,各模型失败原因各异,如Claude Opus 4.1语义理解不足,GPT-5工具使用存疑,Gemini 2.5多维度能力均衡但无突出优势。研究认为,当前模型在真实商业场景中的问题解决能力仍有限,突破30%解决率成为下一步目标。
原文链接
本文链接:https://kx.umi6.com/article/25697.html
转载请注明文章出处
相关推荐
换一换
GPT-5来了,Kimi却掉队了
2025-08-12 15:22:00
GPT-5攻入数学圈,证明定理快过博士生?网友热议AI新角色
2025-09-19 20:18:56
英国心理学家警告:GPT-5 会向精神疾病患者提供危险建议
2025-12-01 18:26:06
杜绝幻觉、拒绝谄媚,GPT-5的「路由革命」
2025-08-11 16:06:06
OpenAI 申请 GPT-5 中国商标遇挫,相关申请均被驳回
2025-08-11 15:02:44
GPT-5通关《宝可梦水晶》创纪录!9517步击败赤爷,效率碾压o3三倍!
2025-08-26 17:48:25
OpenAI旧版回归,年度最失望AI 留下了什么
2025-08-13 15:41:58
微软 Copilot(Win10/11)支持 GPT - 5 智能模式,限制比 ChatGPT 更宽松
2025-08-11 07:57:19
应对 GPT-5 需求增长,OpenAI CEO 奥尔特曼公布算力分配计划
2025-08-12 10:15:48
OpenAI的GPT-5会否开启人工智能界的价格大战?
2025-08-11 16:09:01
首个GPT-5视频Agent一句话即出整片!全流程代劳,0门槛当导演
2025-08-26 17:48:53
深聊GPT-5发布:过度营销的反噬与AI技术困局
2025-08-12 12:16:52
OpenAI GPT-5 编程成绩有猫腻:自删 23 道测试题,关键基准还是自己提的
2025-08-12 13:18:21
834 文章
1175096 浏览
24小时热文
更多
-
2026-11-20 00:11:17 -
2026-11-19 22:05:46 -
2026-11-19 17:55:15