标题：浙大InftyThink：给大模型装上「思维分段引擎」

学会“适当暂停与总结”，大模型终于实现无限推理。就像人类无法一口气完成复杂数学证明，现有大模型在长上下文推理中也因计算成本激增或上下文长度受限而被迫中断。

浙江大学联合北京大学的研究团队受人类“分段思考+归纳总结”的启发，提出了名为InftyThink的新推理范式。它将单一长推理拆解为多个短片段，并在片段间加入总结，突破了推理长度限制，理论上实现了无限深度推理，同时保持高生成效率。

InftyThink的核心在于“迭代式推理与阶段性总结”。它将长推理分成多次短推理，每次生成有限内容并附带总结，作为后续推理的输入。这种方式既模仿了人类认知过程，又避免了传统推理的上下文长度和计算复杂度问题。此外，它采用“锯齿式”内存管理，每轮推理后清理前轮上下文，仅保留总结，显著降低计算开销。

研究团队还提供了一种数据重构方法，将传统推理数据转换为InftyThink格式，包括片段划分、总结生成和训练样本构建。这种方法无需改变模型结构，可与现有训练流程无缝结合。

实验显示，InftyThink在多个模型上均表现出色。相比传统推理，它不仅提升了推理深度，在AIME24基准上性能提高13%，还提升了生成吞吐量至2.67K Token/s。无论模型大小如何，InftyThink都展现了稳定且显著的性能提升，尤其适合小模型的应用场景。

论文链接：https://arxiv.org/abs/2503.06692
项目链接：https://zju-real.github.io/InftyThink
代码链接：https://github.com/ZJU-REAL/InftyThink