近日，由谢赛宁领衔的华人团队推出全新编程竞赛基准LiveCodeBench Pro，测试中顶级大模型全军覆没，无一得分。该基准题库每日更新，涵盖IOI、Codeforces和ICPC竞赛题，防止模型刷题。测试显示，模型在知识密集型和逻辑密集型问题上有一定表现，但在观察密集型问题上表现欠佳。表现最佳的模型在中等难度题上的通过率仅为53%，难题通过率为0。即使工具调用被屏蔽，顶级模型的Elo评分仍低于人类大师级水平。团队成员多为奥林匹克竞赛获奖者，超半数为华人，且团队年轻化，成员来自顶尖学府。该项目旨在持续评估大模型算法逻辑深度，每个季度将发布全新评估集。