Thinking Machines曝LoRA终极指南：10倍学习率，媲美全参微调

2025-10-11 09:28:41

智慧轨迹

发布在

快讯

阅读：640

2025年10月11日，Thinking Machines发布论文《LoRA Without Regret》，探讨低秩适配（LoRA）在特定条件下媲美全参数微调（FullFT）的性能。研究表明，当LoRA应用于网络所有层（尤其是MLP/MoE层）且训练参数量充足时，其表现与FullFT相当。实验发现，LoRA的学习率通常是FullFT的10倍，大批量训练下容忍度较低。此外，在强化学习场景中，即使低秩LoRA也能达到FullFT的效果。研究基于Tulu3、OpenThoughts3及MATH等数据集，覆盖监督学习和策略梯度算法。此成果推动LoRA在定制化场景中的应用，同时为机器学习优化提供新视角。

原文链接

本文链接：https://kx.umi6.com/article/26382.html

转载请注明文章出处

LoRA