1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

2025年9月,Scale AI发布新基准SWE-BENCH PRO,测试显示顶级AI模型编程能力普遍‘不及格’。GPT-5、Claude Opus 4.1和Gemini 2.5解决率分别为23.3%、22.7%和13.5%,但深入分析发现,GPT-5在已提交任务中准确率达63%,远超Claude的31%。新基准严格避免数据污染,涵盖1865个商业代码库问题,强调复杂多文件修改,对比旧版难度显著提升。研究指出,Go和Python任务表现较好,而JavaScript波动大;失败原因因模型而异,如Claude语义理解不足,GPT-5工具使用需优化。整体来看,当前AI模型在真实商业场景中的编程能力仍有限,突破30%解决率成新目标。

原文链接
本文链接:https://kx.umi6.com/article/25666.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
全球首个AI投资大赛落幕!阿里Qwen 20%收益夺冠,GPT-5亏到只剩三成
2025-11-04 17:21:10
硅谷画饼王“塌房”:奥特曼撒谎微表情被扒光,网友集体喊下台
2025-08-16 18:29:48
GPT-5发布,普通人必看的8件事
2025-08-08 22:20:16
GPT-5发威,逼得马斯克 「放大招」?
2025-08-12 11:17:40
OpenAI今年预计通过ChatGPT实现近100亿美元收入,机构称GPT-5将给硬件和应用端这些企业带来机遇
2025-09-06 16:37:17
英国心理学家警告:GPT-5 会向精神疾病患者提供危险建议
2025-12-01 18:26:06
GPT-5为什么没有带来更多惊喜?
2025-08-10 14:47:11
GPT-5超越人类医生!推理能力比专家高出24%,理解力强29%
2025-08-15 16:18:18
因为GPT-5,这群人决定在Reddit上起义
2025-08-11 11:01:24
奥尔特曼答网友问:GPT-5 为何“降智”、是否保留 GPT-4o、发布会图表出错……
2025-08-09 08:25:28
陶哲轩用GPT-5解决数学难题:仅29行Python代码
2025-10-04 12:59:43
深聊GPT-5发布:过度营销的反噬与AI技术困局
2025-08-12 12:16:52
OpenAI GPT-5 编程成绩有猫腻:自删 23 道测试题,关键基准还是自己提的
2025-08-12 13:18:21
24小时热文
更多
扫一扫体验小程序