2025年10月4日，Thinking Machines发布论文《LoRA Without Regret》，探讨低秩适配（LoRA）在特定条件下媲美全参数微调（FullFT）的性能。研究表明，LoRA在小到中等规模数据集上表现与FullFT相当，但对大批量训练容忍度较低。关键发现包括：LoRA需应用于所有层（尤其是MLP/MoE层），且其学习率通常为FullFT的10倍。此外，在强化学习场景中，即使低秩LoRA也能达到FullFT的效果。研究旨在推动LoRA在定制化场景中的广泛应用，同时深化对机器学习基础问题的理解。更多详情见博客与论文链接。