小模型，也是嵌入式的未来 英伟达近期提出一个引人注目的研究结论：小型语言模型（SLM）才是智能体的未来。随后发布的Nemotron-Nano-9B-V2模型，在部分基准测试中表现优异。这股“小模型”风潮也席卷了MCU和MPU领域。 SLM通常由大型语言模型（LLM）压缩而来，参数规模从几百万...

8月19日，英伟达发布开源小型语言模型Nemotron-Nano-9B-V2。该模型在指定基准测试中表现出同类最佳性能，并支持用户灵活开启或关闭AI推理功能。值得一提的是，这款模型能够在单个英伟达A10 GPU上运行，为开发者和研究人员提供了更高的效率与灵活性。这一发布进一步丰富了英伟达在AI领域的技术生态，为小型语言模型的应用开辟了新可能。

清华大学智能产业研究院于2024年12月24日发布AutoDroid-V2 AI模型，该模型利用设备端的小型语言模型（SLM）提升移动设备上自然语言控制的自动化程度。相比传统方法依赖云端大型语言模型（LLM），AutoDroid-V2在效率、隐私和安全性方面有显著优势。它通过生成多步骤脚本一次性执行多个GUI操作，大幅减少查询频率和资源消耗。基准测试显示，AutoDroid-V2在23个移动应用上完成226项任务的成功率提高了10.5%-51.7%，且资源消耗和LLM推理延迟显著降低。

全球AI趋势转向"小而美"，科技巨头和初创企业如微软（推出轻量级模型 Phi）、谷歌、Apple、Mistral等发布更小型的AI模型，以降低成本、提高效率。这些小模型专为特定任务设计，如微软的 Phi 模型大小仅是OpenAI ChatGPT的1/100，性能出色且消耗资源少。大型语言模型如OpenAI的GPT-4面临运营成本高昂的问题，而小型模型如Snorkel AI的产品被企业用户，如信用评级公司益百利采用，因其性价比高。尽管大型模型迭代速度减缓，但小型模型的发展预示着AI从科幻向实用商业应用的转变，但是否代表长期趋势仍有待观察。