.png)
大模型权威测试MMLU-Pro被曝存在问题，评测方法被指偏向GPT-4等闭源模型。测试者发现采样参数、系统提示和答案提取存在不公平，仅通过修改提示词就使Llama-3-8b-q8性能提升10分。官方回应称，尽管影响小于1%，但仍承认答案提取regex需要改进。MMLU-Pro原定于今年5月更新，但其数学主导的特性引发争议，质疑其是否能全面评估知识和推理能力。这一事件引发行业讨论，对大模型性能评估的可信度提出了质疑。
原文链接
本文链接：https://kx.umi6.com/article/3175.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
.png "3175")
相关推荐
.png)
换一换
百度李彦宏：开源模型是智商税，闭源模型更强大、推理成本更低
2024-07-06 04:31:29
Meta全力转向闭源模型 新模型Avocado或于明年春季推出
2025-12-10 23:15:05
李彦宏：开源模型是智商税！傅盛：付费的闭源大模型才是！
2024-07-10 17:10:42
大模型行业，根本没有什么“真”开源？
2024-08-01 11:04:31
阿里通义千问发布 Qwen3-Coder-Flash 模型，AI 智能体编程 / 操控浏览器等领域媲美 GPT-4.1 等领先闭源模型
2025-08-01 09:07:59
开源模型是智商税？这话真的就一定对吗
2024-07-16 08:32:54
覆盖20多个垂直场景Agent！腾讯首发效率智能体工具集
2026-06-05 17:08:27
世界模型榜首易主！跨维智能登顶WorldArena
2026-06-03 19:33:11
大模型发展三年半，AI圈终于等来了一场“不要大厂，只赌脑洞”的比赛
2026-06-06 15:53:13
活久见！奥特曼Dario哈萨比斯同仇敌忾：DNA得查了
2026-06-05 16:02:58
CVPR 2026现场直击：CV与机器人的物理结界被彻底打破
2026-06-05 19:24:24
高德发布ABot-Earth0.5：跨越2D蒸馏模式，以3D原生驱动高一致性场景生成
2026-06-08 17:40:19
AI掏空存储产能！美国九大行业联合请愿扩产芯片
2026-06-04 23:27:38
806 文章
691228 浏览
24小时热文
更多
-
2026-06-09 07:06:40 -
2026-06-09 00:54:40
-
2026-06-09 00:53:08
