近日，一篇题为《排行榜幻觉》的68页论文揭示了大模型竞技场Chatbot Arena存在的系统性问题。研究指出，少数大厂如Meta在Llama4发布前私下测试了27个版本，仅公布最佳成绩，导致排名失真。此外，专有模型获取的数据反馈显著多于开源模型，且利用竞技场数据训练可使模型性能提升高达112%。研究团队还发现，205个模型被“静默弃用”，远超官方公布的47个。对此，大模型竞技场官方Lmrena.ai回应称，排行榜反映真实用户偏好，但承认存在测试优化现象。论文建议改进包括禁止撤回分数、限制非正式模型数量及提高弃用透明度。此研究由Cohere团队、普林斯顿大学等机构联合发布，呼吁不应过度依赖单一榜单。

Meta 推出 Llama 4 系列模型，包括 Llama 4 Scout、Maverick 和 Behemoth，引发广泛关注。该系列由 20 万显卡集群训练，号称具备顶级视觉理解和多模态能力。然而，实际测试中 Llama 4 的表现却令人失望。 网友发现，Llama 4 在几何生成等基础任务中多...

4月6日，Meta发布最新大模型Llama-4，包含Scout、Maverick和Behemoth三个版本。Llama-4-Maverick在LMArena的排行榜一度排名第二，但随后因疑似刷榜行为遭质疑。4月8日，Chatbot Arena确认Meta提供的是“特供版”，修正后模型排名跌至32位。原排名第二的“Llama-4-Maverick-03-26-Experimental”为实验性聊天优化版本，而修正后的开源版本“Llama-4-Maverick-17B-128E-Instruct”表现不佳。Meta解释称实验版优化对话性，在LM Arena表现较好。尽管LM Arena并非权威指标，但此事件引发对模型评估标准的关注。Meta表示将关注开源版本的实际应用反馈。

标题：Llama 4遭遇竞技场争议：特供版刷榜疑云 正文： Meta旗下的Llama 4因在大模型竞技场Chatbot Arena上的表现引发争议。Arena官方指责Meta提供的版本为特供版，并未如实标注。官方已公开超过2000组对战数据，显示模型回复风格与语气是排名的重要影响因素。 初步分析表...

大模型产业陷入刷榜竞赛，导致模型泛化能力下降。去年9月，一篇论文揭露了phi-1、TinyStories等大模型在测试集上预训练刷榜的现象。大模型参数持续增加，成本高昂，但在实际应用中，mini版模型因低时延低成本更受欢迎。亚马逊云科技在re:Invent大会上推出多种大模型版本，强调用户选择的重要性。真正的需求应是看见用户需求，提供多样选择，而非单一追求‘最强’。