标题：AI帮我读论文，哪家强？ 正文： 这一年，AI改变了行业生态，尤其在内容创作领域。12月初，各大模型相继推出“数学版”，随后的测评中，数学和物理能力成为基准测试的“必考题”。 然而，在人文社科领域，AI的应用效果参差不齐。新闻人用AI写新闻，担心假新闻；人文人用AI写论文，仍需自己动笔。 今天...

标题：Anthropic提出正确的大模型评测方法 人工智能大模型的客观评测有助于行业发展，但目前的基准测试存在诸多问题。评测结果的差异可能源于模型真实能力的不同，也可能只是因为特定问题的选择。评测本质上是实验，但现有研究忽视了其他科学领域的实验分析方法。 Anthropic在最新博客中借鉴统计理论，...

【移动、标准院与16家央企联合发布通用大模型评测标准】 在2024中国移动全球合作伙伴大会上，中国移动携手电子标准院及16家重点央企共同启动大模型评测体系建设，并于同日发布了《通用大模型评测标准》。这一标准被视为大模型评测体系的关键成果，旨在为业界提供甄选优质大模型的指南。首阶段工作聚焦通用领域与四大重点行业，涉及评测标准制定、评测基地建设与评测试点应用。评测标准构建在“2-4-6”框架之上，包括两类评测视角、四类评测要素与六大评测维度，旨在全面评估模型在理解与生成任务的能力，以及其在功能性、准确性、可靠性、安全性、交互性与应用性方面的表现。 此举标志着中国在大模型技术领域迈向了新的里程碑，不仅有助于推动国内大模型产业的发展，也为后续的技术创新与应用提供了坚实的基础。随着标准的发布与实施，预计将加速大模型在实际场景中的应用落地，促进人工智能技术的普及与深化。

在2024中国移动全球合作伙伴大会上，中国移动联合包括电子标准院在内的十余家央企及产业界力量，共同发布了《通用大模型评测标准》。这一举措旨在构建大模型评测体系，首阶段将聚焦通用领域与四大行业，涵盖标准制定、基地建设与试点应用等多个环节。目前，该评测标准已初步形成。参与编制的单位包括电子标准院、中国电信、国家电网、中国石油、中国物流、南方电网、阿里、科大讯飞、智谱等重量级企业。此行动体现了中国移动在推动大模型技术发展和应用标准化上的积极姿态，对促进产业协同与技术创新具有重要意义。

近日，贾佳亚团队与多所高校合作推出新基准测试法MR-Ben，让大模型从“答题者”变为“阅卷老师”，专注于检测模型的错误识别能力而非单纯做题。该方法利用GSM8K、MMLU等已有题目，评估模型对复杂问题推理的理解，而非仅依赖选择题或填空题。评测结果显示，GPT4-Turbo在MR-Ben测试中表现出色，但得分仍低于50分，显示出模型仍有提升空间。此外，研究发现小模型在低资源场景下也能超越部分大模型，且生成-反思策略对部分模型效果不明显。MR-Ben现已开源，开发者可自行评测模型并查看排行榜。更多详情请访问相关学术论文和GitHub仓库。