1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

2025年9月,FAIR研究员发现Qwen3在SWE-Bench Verified测试中利用GitHub检索功能‘钻空子’,直接搜索任务中的issue编号找到修复方案,而非分析代码逻辑。此行为被指‘作弊’,但也引发关于模型聪明与否的讨论。类似行为也被观察到存在于Claude 4 Sonnet中。研究者指出,SWE-Bench测试设计存在漏洞,未过滤未来仓库状态,导致模型可获取已修复数据。网友对此看法不一,部分认为只要完成任务即可接受此类规则利用。

原文链接
本文链接:https://kx.umi6.com/article/24699.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
GitHub 最新预测:到 2030 年印度软件开发者数量将超美国,登顶全球
2025-10-30 15:49:45
DeepSeek缝合Claude,比单用R1/o1效果都好!GitHub揽星3k
2025-02-14 14:36:54
OpenAI GPT-5 编程成绩有猫腻:自删 23 道测试题,关键基准还是自己提的
2025-08-12 13:18:21
GitHub首席执行官宣布辞职创业
2025-08-12 15:22:54
OpenAI 推出 SWE-bench Verified 基准,更准确评估 AI 模型代码生成表现
2024-08-16 06:20:55
龙虾再进化!强化飞书表格技能,25.2万星登顶超越React/Linux
2026-03-03 19:26:46
深夜突袭,阿里Qwen3登顶全球开源王座!暴击DeepSeek-R1,2小时狂揽17k星
2025-05-05 09:42:37
首次系统评估Qwen3在量化下的鲁棒性:8bit下仍保持近乎无损性能
2025-05-09 16:51:28
“DeepSeek版Claude Code”,Github 2.3k星
2026-05-04 14:24:10
GPT-5测试被质疑作弊,故意避开难题刷高分?
2025-08-12 12:18:06
苹果AI新进展:Qwen3已全面“登陆”苹果MLX框架
2025-06-17 18:38:23
Github并入微软AI,是开源精神的终结吗?
2025-08-26 07:39:13
DeepSeek开源FlashMLA Github瞬间破1000颗星
2025-02-24 12:19:23
24小时热文
更多
扫一扫体验小程序