.png)
大模型权威测试MMLU-Pro被曝存在问题，评测方法被指偏向GPT-4等闭源模型。测试者发现采样参数、系统提示和答案提取存在不公平，仅通过修改提示词就使Llama-3-8b-q8性能提升10分。官方回应称，尽管影响小于1%，但仍承认答案提取regex需要改进。MMLU-Pro原定于今年5月更新，但其数学主导的特性引发争议，质疑其是否能全面评估知识和推理能力。这一事件引发行业讨论，对大模型性能评估的可信度提出了质疑。
原文链接
本文链接：https://kx.umi6.com/article/3175.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
.png "3175")
相关推荐
.png)
换一换
大模型权威测试被曝翻车！偏袒GPT-4等闭源模型，提示词区别对待
2024-07-11 15:27:21
开源模型是智商税？这话真的就一定对吗
2024-07-16 08:32:54
百度李彦宏：开源模型是智商税，闭源模型更强大、推理成本更低
2024-07-06 04:31:29
Meta全力转向闭源模型 新模型Avocado或于明年春季推出
2025-12-10 23:15:05
大模型行业，根本没有什么“真”开源？
2024-08-01 11:04:31
李彦宏：开源模型是智商税！傅盛：付费的闭源大模型才是！
2024-07-10 17:10:42
阿里通义千问发布 Qwen3-Coder-Flash 模型，AI 智能体编程 / 操控浏览器等领域媲美 GPT-4.1 等领先闭源模型
2025-08-01 09:07:59
卢宗青团队新作：人类先验打底，统一动作对齐，通用机器人模型正在落地
2026-01-22 17:03:53
国家电网的供应商冲击IPO，左手能源右手机器人
2026-01-22 13:57:42
千问系列模型下载量突破10亿次
2026-01-21 12:07:14
端侧AI下半场，从跑起来到会思考
2026-01-21 15:15:34
韩国施行涉AI指导性法律
2026-01-22 11:54:31
中信证券：建议当前核心围绕先进封装和存储封装环节进行布局
2026-01-23 08:40:41
704 文章
450852 浏览
24小时热文
更多
-
2026-01-23 08:40:41 -
2026-01-23 06:34:26
-
2026-01-23 00:20:44
