在10月11日，科技媒体The Decoder报道，OpenAI公司推出名为MLE-bench的新基准，旨在评估AI智能体在开发机器学习解决方案的能力。此基准包括75个Kaggle竞赛，涉及多个领域，如自然语言处理、计算机视觉和信号处理。Kaggle是一个专注于数据科学和机器学习的在线竞赛平台，设有从新手到特级大师的不同技能层级。OpenAI在MLE-bench上使用AIDE框架的o1-preview模型，其在16.9%的比赛中至少获得铜牌，超越了Anthropic的Claude 3.5 Sonnet。此模型在7场竞赛中夺金，达到特级大师标准。尽管MLE-bench有局限性，OpenAI仍希望通过此工具推动AI在机器学习领域的进步，基准已公开在GitHub上。这一成就标志着OpenAI在AI竞赛中的新里程碑，展示了AI在解决复杂问题方面的潜力。