标题：打破推理瓶颈！“软推理”让大模型学会人类抽象能力，token使用量还更少了

正文：
不再像“思维链”那样逐字生成，加入“软思维”后，大模型能像人类一样进行抽象思考。来自SimularAI和微软DeepSpeed的研究团队提出“Soft Thinking”，让模型在“连续概念空间”中推理，而非局限于离散的token，从而突破基于离散token的推理瓶颈。

相比标准CoT，Soft Thinking提升了Pass@1平均准确率2.48%，并减少了22.4%的token使用量。更重要的是，它是一种“即插即用”的推理策略，无需额外训练即可应用于现有模型，如Llama、Qwen等。

主流语言模型推理面临的问题是只能逐字生成离散的语言符号，这限制了抽象概念的表达能力，并易因单一路径选择出错。而人类推理依靠灵活整合抽象概念。受此启发，Soft Thinking将推理从“离散符号空间”扩展到“连续概念空间”，使模型能在细微语义间捕捉概念，更灵活地探索多种解题路径，同时保持高效和可解释性。

Soft Thinking仅修改传统CoT的中间推理阶段，保留最终答案的离散生成。其理论基础是“线性近似替代路径枚举”，通过概率加权替代离散采样，利用连续概念空间中的线性变换聚合多条路径信息，避免计算爆炸。此外，通过概念token的概率分布代替单一符号，模型能同时保留多种推理可能性。

为了防止无效循环，Soft Thinking引入“Cold Stop”机制，通过熵值监测模型的自信程度，当模型足够确定时，提前终止中间步骤，直接生成答案。

测试结果显示，QwQ – 32B模型的平均Pass@1准确率从83.84%提升至86.32%，最高提升2.48%。在数学任务中，DeepSeek-R1-Distill-Qwen-32B的token使用量减少22.4%。与COCONUT-TF和平均嵌入策略相比，Soft Thinking在效率和准确性上均有显著优势。

官方网站：https://soft-thinking.github.io/
论文地址：https://arxiv.org/abs/2505.15778
代码地址：https://github.com/eric-ai-lab/Soft-Thinking
参考链接：https://x.com/xwang_lk/status/1925399783503798692