2025年10月11日，Thinking Machines发布论文《LoRA Without Regret》，探讨低秩适配（LoRA）在特定条件下媲美全参数微调（FullFT）的性能。研究表明，当LoRA应用于网络所有层（尤其是MLP/MoE层）且训练参数量充足时，其表现与FullFT相当。实验发现，LoRA的学习率通常是FullFT的10倍，大批量训练下容忍度较低。此外，在强化学习场景中，即使低秩LoRA也能达到FullFT的效果。研究基于Tulu3、OpenThoughts3及MATH等数据集，覆盖监督学习和策略梯度算法。此成果推动LoRA在定制化场景中的应用，同时为机器学习优化提供新视角。

2025年10月4日，Thinking Machines发布论文《LoRA Without Regret》，探讨低秩适配（LoRA）在特定条件下媲美全参数微调（FullFT）的性能。研究表明，LoRA在小到中等规模数据集上表现与FullFT相当，但对大批量训练容忍度较低。关键发现包括：LoRA需应用于所有层（尤其是MLP/MoE层），且其学习率通常为FullFT的10倍。此外，在强化学习场景中，即使低秩LoRA也能达到FullFT的效果。研究旨在推动LoRA在定制化场景中的广泛应用，同时深化对机器学习基础问题的理解。更多详情见博客与论文链接。

标题：一句话生成LoRA！Transformer作者创业公司革新LLM微调 正文： 由Transformer作者之一Llion Jones联合创立的SakanaAI公司，近期推出Text-to-LoRA（T2L），大幅简化模型适配流程。以往微调大模型需数周时间准备数据和调整超参数，如今只需一句话即可...