标题：一句话生成LoRA！Transformer作者创业公司革新LLM微调

正文：

由Transformer作者之一Llion Jones联合创立的SakanaAI公司，近期推出Text-to-LoRA（T2L），大幅简化模型适配流程。以往微调大模型需数周时间准备数据和调整超参数，如今只需一句话即可生成LoRA。

T2L生成的LoRA参数压缩率达80%，仅降1.2%准确率，零样本场景下平均准确率达78.3%，超越现有SOTA方法。这标志着“一句话定制模型”的时代到来，非技术用户也能轻松完成相关工作。

T2L包含三种架构变体：T2L-L、T2L-M和T2L-S。T2L-L为各层生成完整LoRA权重矩阵；T2L-M按模块类型共享输出空间；T2L-S为全模型生成统一适配器。团队还提出基于LoRA重建和监督微调两种训练模式。

实验显示，T2L-L在压缩后性能最优，而T2L-S压缩率最高。T2L能在资源受限环境中高效部署，零样本场景下平均准确率达78.3%，优于多任务LoRA和Arrow Routing。

SakanaAI由Llion Jones于2023年创立，他曾是Transformer架构的主要作者之一。公司专注于自然启发方法开发基础模型，包括达尔文哥德尔机和新型神经记忆系统NAMM。本论文由多位资深学者共同完成，已在ICML2025收录。