.png)
大模型权威测试MMLU-Pro被曝存在问题，评测方法被指偏向GPT-4等闭源模型。测试者发现采样参数、系统提示和答案提取存在不公平，仅通过修改提示词就使Llama-3-8b-q8性能提升10分。官方回应称，尽管影响小于1%，但仍承认答案提取regex需要改进。MMLU-Pro原定于今年5月更新，但其数学主导的特性引发争议，质疑其是否能全面评估知识和推理能力。这一事件引发行业讨论，对大模型性能评估的可信度提出了质疑。
原文链接
本文链接：https://kx.umi6.com/article/3175.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
.png "3175")
相关推荐
.png)
换一换
阿里通义千问发布 Qwen3-Coder-Flash 模型，AI 智能体编程 / 操控浏览器等领域媲美 GPT-4.1 等领先闭源模型
2025-08-01 09:07:59
大模型行业，根本没有什么“真”开源？
2024-08-01 11:04:31
李彦宏：开源模型是智商税！傅盛：付费的闭源大模型才是！
2024-07-10 17:10:42
美国开源AI实验室Arcee表示：中国模型没有危险性 但会威胁美国闭源模型的利润空间
2026-07-23 15:52:51
开源模型是智商税？这话真的就一定对吗
2024-07-16 08:32:54
百度李彦宏：开源模型是智商税，闭源模型更强大、推理成本更低
2024-07-06 04:31:29
Meta全力转向闭源模型 新模型Avocado或于明年春季推出
2025-12-10 23:15:05
飞书豆包工作AI先锋未来人才大赛：企业正在争抢会用AI做成事的人
2026-10-21 11:23:22
Git 被换掉，LLM 被替代：AI 编码开始反噬传统工具链？
2026-10-19 13:03:23
第一款AI手机 被半个互联网拒了
2026-10-17 00:47:09
尹同跃：奇瑞是披着车企马甲的AI科技公司 未来不敢用AI重构自己的企业将被淘汰
2026-10-20 12:11:59
刚刚，Fable 5.5被爆明天突袭！谷歌OpenAI全面迎战
2026-10-20 10:03:09
GPT证千禧年难题成果大反转！OpenAI自己没看懂就发…
2026-10-16 14:09:23
855 文章
1108990 浏览
24小时热文
更多
-
2026-10-22 11:40:49 -
2026-10-22 10:39:20
-
2026-10-22 10:37:52
