1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

2025年9月,Scale AI发布新基准SWE-BENCH PRO,用于评估大语言模型的编程能力。结果显示,GPT-5、Claude Opus 4.1和Gemini 2.5分别以23.3%、22.7%和13.5%的解决率位列前三,但整体表现远低于此前SWE-Bench-Verified的70%平均正确率。研究人员指出,SWE-BENCH PRO通过全新题目避免数据污染,任务复杂度更高,涵盖1865个多元化代码库。深入分析表明,GPT-5在已提交任务中准确率达63%,显著优于其他模型,但未回答率高达63.1%。此外,各模型失败原因各异,如Claude Opus 4.1语义理解不足,GPT-5工具使用存疑,Gemini 2.5多维度能力均衡但无突出优势。研究认为,当前模型在真实商业场景中的问题解决能力仍有限,突破30%解决率成为下一步目标。

原文链接
本文链接:https://kx.umi6.com/article/25697.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
GPT-5来了,Kimi却掉队了
2025-08-12 15:22:00
GPT-5攻入数学圈,证明定理快过博士生?网友热议AI新角色
2025-09-19 20:18:56
英国心理学家警告:GPT-5 会向精神疾病患者提供危险建议
2025-12-01 18:26:06
杜绝幻觉、拒绝谄媚,GPT-5的「路由革命」
2025-08-11 16:06:06
OpenAI 申请 GPT-5 中国商标遇挫,相关申请均被驳回
2025-08-11 15:02:44
GPT-5通关《宝可梦水晶》创纪录!9517步击败赤爷,效率碾压o3三倍!
2025-08-26 17:48:25
OpenAI旧版回归,年度最失望AI 留下了什么
2025-08-13 15:41:58
微软 Copilot(Win10/11)支持 GPT - 5 智能模式,限制比 ChatGPT 更宽松
2025-08-11 07:57:19
应对 GPT-5 需求增长,OpenAI CEO 奥尔特曼公布算力分配计划
2025-08-12 10:15:48
OpenAI的GPT-5会否开启人工智能界的价格大战?
2025-08-11 16:09:01
首个GPT-5视频Agent一句话即出整片!全流程代劳,0门槛当导演
2025-08-26 17:48:53
深聊GPT-5发布:过度营销的反噬与AI技术困局
2025-08-12 12:16:52
OpenAI GPT-5 编程成绩有猫腻:自删 23 道测试题,关键基准还是自己提的
2025-08-12 13:18:21
24小时热文
更多
扫一扫体验小程序