标题：推理大模型1年内可能遭遇性能瓶颈

一年内，大模型推理训练或将遇到瓶颈。这一结论来自Epoch AI，该非营利组织专注于AI研究和基准测试，曾推出备受关注的FrontierMath基准测试。研究表明，若推理模型继续以每3-5个月翻十倍的速度扩展，其训练所需的算力可能会迅速收敛。

OpenAI的o1是推理模型的开创者，后续如o3、DeepSeek-R1等均在此基础上发展，通过大量人类数据预训练并在强化学习阶段优化推理能力。然而，关于推理训练所需算力的信息极为有限。Epoch AI通过对现有公开数据的分析推测，o3的推理训练算力是o1的10倍，且主要集中在训练阶段。

以DeepSeek-R1为例，其推理训练算力约为6e23 FLOP，仅相当于DeepSeek-V3预训练成本的20%。类似地，英伟达的Llama-Nemotron Ultra和微软的Phi-4-reasoning在推理阶段的成本也显著低于预训练阶段。Anthropic CEO Dario Amodei指出，当前推理模型的训练成本远低于千万美元，但高于1e26 FLOP。

尽管如此，Epoch AI认为，最前沿的推理模型仍有扩展空间。然而，若推理训练需求见顶，增长率将降至每年4倍左右，而非以往的十倍增长。这意味着，若一个模型的训练规模仅落后前沿模型不到三个数量级，其增长潜力可能在一两年内减弱甚至停滞。

数据不足和技术泛化难题成为阻碍推理模型进一步发展的关键因素。即便算力增速放缓，推理模型仍可通过算法创新和算力提升持续进化。