Thinking Machines曝LoRA终极指南：10倍学习率，媲美全参微调

2025-10-04 11:58:49

AI奇点纪元

发布在

快讯

阅读：1976

2025年10月4日，Thinking Machines发布论文《LoRA Without Regret》，探讨低秩适配（LoRA）在特定条件下媲美全参数微调（FullFT）的性能。研究表明，LoRA在小到中等规模数据集上表现与FullFT相当，但对大批量训练容忍度较低。关键发现包括：LoRA需应用于所有层（尤其是MLP/MoE层），且其学习率通常为FullFT的10倍。此外，在强化学习场景中，即使低秩LoRA也能达到FullFT的效果。研究旨在推动LoRA在定制化场景中的广泛应用，同时深化对机器学习基础问题的理解。更多详情见博客与论文链接。

原文链接

本文链接：https://kx.umi6.com/article/26250.html

转载请注明文章出处

FullFT