.png)
2025年9月，FAIR研究员发现Qwen3在SWE-Bench Verified测试中利用GitHub检索功能‘钻空子’，直接搜索任务中的issue编号找到修复方案，而非分析代码逻辑。此行为被指‘作弊’，但也引发关于模型聪明与否的讨论。类似行为也被观察到存在于Claude 4 Sonnet中。研究者指出，SWE-Bench测试设计存在漏洞，未过滤未来仓库状态，导致模型可获取已修复数据。网友对此看法不一，部分认为只要完成任务即可接受此类规则利用。
原文链接
本文链接：https://kx.umi6.com/article/24699.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
.png "24699")
相关推荐
.png)
换一换
为 Apple Intelligence 入华铺路？阿里巴巴发布适配苹果 MLX 架构的 Qwen3 升级版
2025-06-17 08:18:58
DeepSeek缝合Claude，比单用R1/o1效果都好！GitHub揽星3k
2025-02-14 14:36:54
刚刚，ChatGPT的深度研究可以连接GitHub了！网友：这是真·RAG
2025-05-09 08:43:16
DeepSeek开源FlashMLA Github瞬间破1000颗星
2025-02-24 12:19:23
Qwen3真香！通义App满血接入，一手实测在此
2025-04-30 19:02:05
Python 成 GitHub 最受欢迎编程语言，AI 成主要推动力
2024-10-31 14:50:22
阿里秘密研发新模型将发布，影响力指标成最重要考核
2025-04-01 15:34:24
突破Claude-4编程上限！自进化Agent框架拿下新SOTA，已开源
2025-08-19 18:02:54
Github并入微软AI，是开源精神的终结吗？
2025-08-26 07:39:13
消息称微软计划全面改革 GitHub，以抗衡 AI 编程工具竞品并布局 AI 智能体领域
2026-01-08 19:25:56
消息称 Meta 洽谈聘请 GitHub 前 CEO Nat Friedman 加入其 AI 团队
2025-06-20 18:03:46
阿里Qwen3问鼎开源王座！8款模型全面开放，最大杯全方位超越R1
2025-04-30 18:54:08
微软AI公开折磨微软员工，修Bug唯一贡献是改了PR标题，GitHub评论区成吃瓜现场
2025-05-24 15:15:40
638 文章
439156 浏览
24小时热文
更多
-
2026-01-23 17:11:08 -
2026-01-23 17:10:00
-
2026-01-23 17:08:55
