近日，随着AI推理模型的兴起，基准测试成本显著上升。据第三方机构“人工智能分析”数据，评估OpenAI的o1推理模型需花费2767.05美元，远高于非推理模型GPT-4o的108.85美元。类似地，Anthropic的Claude 3.7 Sonnet测试成本为1485.35美元，而其非推理版本仅需81.41美元。高昂的成本主要源于推理模型生成大量token，且现代基准测试更复杂，涉及多步骤任务。例如，OpenAI的o1生成超4400万个token，是GPT-4o的八倍。尽管模型性能提升，测试成本仍居高不下。AI初创公司“通用推理”的CEO罗斯·泰勒指出，MMLU Pro测试单次成本已超1800美元。专家警告，免费或补贴的模型测试可能影响评估公正性。截至发稿，相关机构正计划扩大测试预算以应对这一挑战。