.png)
2025年9月，FAIR研究员发现Qwen3在SWE-Bench Verified测试中利用GitHub检索功能‘钻空子’，直接搜索任务中的issue编号找到修复方案，而非分析代码逻辑。此行为被指‘作弊’，但也引发关于模型聪明与否的讨论。类似行为也被观察到存在于Claude 4 Sonnet中。研究者指出，SWE-Bench测试设计存在漏洞，未过滤未来仓库状态，导致模型可获取已修复数据。网友对此看法不一，部分认为只要完成任务即可接受此类规则利用。
原文链接
本文链接：https://kx.umi6.com/article/24699.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
.png "24699")
相关推荐
.png)
换一换
Qwen3小升级即SOTA，开源大模型王座快变中国内部赛了
2025-07-22 13:34:56
首次系统评估Qwen3在量化下的鲁棒性：8bit下仍保持近乎无损性能
2025-05-09 16:51:28
ControlNet作者新项目爆火：仅一张图生成25秒绘画全过程！不到一天GitHub揽星600+
2024-07-10 14:59:32
阿里据悉秘密研发新模型Qwen3将发布 官方暂无回应
2025-04-01 16:35:21
阿里秘密研发新模型将发布，影响力指标成最重要考核
2025-04-01 15:34:24
全系列模型开源，腾讯混元大模型公布最新开源成绩
2024-12-24 14:32:54
Python 成 GitHub 最受欢迎编程语言，AI 成主要推动力
2024-10-31 14:50:22
深夜突袭，阿里Qwen3登顶全球开源王座！暴击DeepSeek-R1，2小时狂揽17k星
2025-05-05 09:42:37
Github并入微软AI，是开源精神的终结吗？
2025-08-26 07:39:13
OpenAI 推出 SWE-bench Verified 基准，更准确评估 AI 模型代码生成表现
2024-08-16 06:20:55
AI也邪修！Qwen3改Bug测试直接搜GitHub，太拟人了
2025-09-04 16:02:51
阿里前端第一人AI创业首秀，要做全球内容创作者的GitHub！公司俩月估值过亿，5k人排队内测
2025-01-01 13:57:57
GitHub中国IP访问崩了又复活，OpenAI API新政恐锁死GPT-5？
2025-04-14 11:28:55
601 文章
367035 浏览
24小时热文
更多
-
2025-12-08 23:53:52 -
2025-12-08 22:52:38
-
2025-12-08 22:51:57
