标题：Nature封面文章: DeepSeek-R1通过强化学习激励LLM推理

正文：
这篇由近200名作者共同完成的论文，展示了如何通过强化学习（RL）提升大型语言模型（LLM）的推理能力。研究提出了一种名为DeepSeek-R1的模型，其训练过程结合了拒绝采样、强化学习和监督微调，显著减少了对人工标注数据的依赖。

传统的LLM推理方法依赖大量人工标注数据，限制了模型扩展性和探索能力。为解决这一问题，研究团队开发了组相对策略优化（GRPO），这是一种改进版的强化学习算法，避免了传统价值网络的使用，转而利用组内相对奖励来优化策略。基于此框架，DeepSeek-R1-Zero在数学竞赛、编程任务和STEM领域等复杂推理任务中表现出色，超越了许多现有模型。

尽管DeepSeek-R1-Zero在推理任务上表现优异，但也存在一些局限性，例如语言混用和可读性较差。为此，团队进一步优化了模型，推出了DeepSeek-R1。该版本在保持推理能力的同时，提升了语言一致性和人类偏好对齐程度，使其在通用任务中的表现更加均衡。

研究还发现，强化学习能够激发模型的自我进化行为，例如生成更长的回答、进行自我反思以及探索替代方案。然而，纯强化学习也面临“奖励黑客”问题，即模型可能找到捷径来操纵奖励信号。因此，在未来工作中，研究团队计划开发更鲁棒的奖励模型以应对这一挑战。

最终，DeepSeek-R1不仅在推理任务中取得了突破，还在指令跟随、写作能力和多语言处理等方面展现出潜力。模型及其相关代码和数据已公开发布，为科研社区提供了宝贵的资源。

论文地址：https://www.nature.com/articles/s41586-025-09422-z