11月15日，研究机构Epoch AI发布了名为FrontierMath的全新AI数学基准测试集，旨在评估AI的数学推理能力。该测试集涵盖复杂的数论、代数和几何题目，这些问题的难度极高，甚至需要人类专家数小时至数天才能解答。FrontierMath的设计者声称，这些题目不仅要求AI理解数学概念，还需具备复杂情境的推理能力。初步测试显示，当前市场上的主流AI模型表现不佳，包括曾在GSM-8K和MATH测试中取得高分的Claude 3.5和GPT-4，其解题成功率均低于2%。研究团队认为，AI在解决高级数学问题时主要困难在于依赖训练数据中的相似题目，而非真正理解和推理问题本身，这表明仅靠增加模型规模难以解决问题，需从模型推理架构上进行根本改造。