2025年10月11日，Thinking Machines发布论文《LoRA Without Regret》，探讨低秩适配（LoRA）在特定条件下媲美全参数微调（FullFT）的性能。研究表明，当LoRA应用于网络所有层（尤其是MLP/MoE层）且训练参数量充足时，其表现与FullFT相当。实验发现，LoRA的学习率通常是FullFT的10倍，大批量训练下容忍度较低。此外，在强化学习场景中，即使低秩LoRA也能达到FullFT的效果。研究基于Tulu3、OpenThoughts3及MATH等数据集，覆盖监督学习和策略梯度算法。此成果推动LoRA在定制化场景中的应用，同时为机器学习优化提供新视角。