大模型时代可能迎来转折点，业界大佬 Andrej Karpathy预测AI模型将进入瘦身阶段。他表示，未来模型将变得更小但更智能，与数据驱动和计算能力提升的传统发展路径相反。随着OpenAI和新独角兽推出更紧凑的模型，如GPT-4o mini，焦点转向小而强、成本效益高的设计。Karpathy认为，大模型可能过于依赖记忆而非深度理解，而高质量数据集的提升将助力训练更小型、高效模型。他以特斯拉自动驾驶为例，提及利用弱模型生成清洁数据的方法。专家们认为，这可能标志着从「越大越好」到效率优先的转变，小模型将重新定义AI中的「智能」。讨论中涉及的知识蒸馏概念和对多任务测试局限性的认识，引发关于是否需要多个小模型协作的探讨。这场AI领域的革新似乎预示着更灵活、高效的模型时代的来临。