2025年10月11日，Thinking Machines发布论文《LoRA Without Regret》，探讨低秩适配（LoRA）在特定条件下媲美全参数微调（FullFT）的性能。研究表明，当LoRA应用于网络所有层（尤其是MLP/MoE层）且训练参数量充足时，其表现与FullFT相当。实验发现，LoRA的学习率通常是FullFT的10倍，大批量训练下容忍度较低。此外，在强化学习场景中，即使低秩LoRA也能达到FullFT的效果。研究基于Tulu3、OpenThoughts3及MATH等数据集，覆盖监督学习和策略梯度算法。此成果推动LoRA在定制化场景中的应用，同时为机器学习优化提供新视角。

2025年10月4日，Thinking Machines发布论文《LoRA Without Regret》，探讨低秩适配（LoRA）在特定条件下媲美全参数微调（FullFT）的性能。研究表明，LoRA在小到中等规模数据集上表现与FullFT相当，但对大批量训练容忍度较低。关键发现包括：LoRA需应用于所有层（尤其是MLP/MoE层），且其学习率通常为FullFT的10倍。此外，在强化学习场景中，即使低秩LoRA也能达到FullFT的效果。研究旨在推动LoRA在定制化场景中的广泛应用，同时深化对机器学习基础问题的理解。更多详情见博客与论文链接。

2025年10月2日，Thinking Machines Lab发布首个产品Thinker，显著降低大模型微调门槛。联合创始人翁荔表示，GPU昂贵且基础设施复杂，Tinker让研究者专注于算法和数据，同时自动处理底层难题。相比传统模式，研究者保留90%控制权。该工具支持Qwen3和Llama3系列模型，使用LoRA降低成本并提升效率，还开源了Tinker Cookbook库。业界评价其在抽象化和可调性间取得平衡，普林斯顿等团队已取得成果。此外，公司正尝试“重新发明OpenAI”，目标是更开放的研究环境。与此同时，OpenAI被曝正开发社交功能，ChatGPT或加入群聊模式，迈向类似Meta的方向。

标题：腾讯混元升级AI绘画微调范式，人工评估分数提升300% 腾讯混元团队提出一种新方法，让AI生成图像更符合人类精细偏好，仅需在32块H20上训练10分钟即可收敛。通过优化FLUX1.dev模型，人工评估的真实感和美学评分提升3倍以上。 现有扩散模型虽可通过奖励机制贴合人类喜好，但存在两个...

2025年9月，华为发布开源模型openPangu-Embedded-7B-v1.1，创新实现快慢思考模式自由切换，在精度不变的前提下将思维链长度缩短近50%。该模型通过渐进式微调和快慢自适应机制，既能手动切换模式，也能根据任务难度自动调整，大幅提升效率与灵活性。此外，华为还推出轻量级1B模型openPangu-Embedded-1B，专为边缘AI优化，性能媲美更大规模模型。两款模型已在GitCode平台开源，为国产自研大模型领域带来新突破，有望在多场景中展现应用潜力。

标题：GPT-5变蠢背后：抑制AI幻觉的代价 OpenAI发布GPT-5后引发广泛批评，用户认为其“变蠢了”“没创造力了”。这并不意外，因为GPT-5显著降低了幻觉率，但代价是输出更呆板。降低幻觉率让模型更严谨，却削弱了主观能动性，这对写代码和Agent构建有帮助，但消费级用户对此需求不高。此外...

斯坦福大模型推理课免费开放，谷歌推理团队创始人主讲 量子位 | 公众号 QbitAI 干货来了！谷歌DeepMind推理负责人Denny Zhou在斯坦福大学CS25课程上分享了关于大模型推理的精彩内容。这位Google Brain推理团队的创建者曾与清华姚班马腾宇等人证明：只要思维链足够长，T...

突破单token预测局限！南洋理工首次将多token预测引入微调 告别Next-token预测，南洋理工大学提出了一项新技术——概念感知微调（CAFT），首次在模型微调阶段实现多token预测，让AI能够像人类一样理解完整概念。 当前主流大语言模型（LLM）依赖next-token predicti...

标题：一句话生成LoRA！Transformer作者创业公司革新LLM微调 正文： 由Transformer作者之一Llion Jones联合创立的SakanaAI公司，近期推出Text-to-LoRA（T2L），大幅简化模型适配流程。以往微调大模型需数周时间准备数据和调整超参数，如今只需一句话即可...

2025年，AI Agent发展迅猛。5月6日，OpenAI收购Windsurf，估值达30亿美元；Cursor母公司获9亿美元融资。AI Agent Operator和Deep Research相继推出，受到用户欢迎。专家认为，底层模型能力的提升是AI Agent发展的关键。Cursor和Windsurf因对环境理解深入而脱颖而出，Devin则试图去除IDE限制，构建更精细的操作环境。同时，评价机制（evaluation）的重要性被强调，成为未来AI Agent竞争力的核心。细分领域如Gamma、Vantel等垂直AI Agent展现巨大潜力，但通用型Agent仍需长期积累。业内认为，AI Agent的普及还需解决环境协议MCP的生态渗透及用户需求理解等问题。