大模型界「摩尔定律」Densing Law 来了！盲目Scaling将过时！

2024-12-11 17:30:27

数据炼金师

发布在

快讯

阅读：689

清华李知远教授团队提出了新的大模型密度定律（Densing Law），强调模型性能随时间而非单纯参数规模增长。密度定律表明，大模型的能力密度约每100天翻一番，这为大模型的发展提供了新视角。例如，2024年2月1日发布的MiniCPM-1-2.4B模型，其性能与2023年9月27日发布的Mistral-7B相当，只需较小的参数量即可达到相近效果。研究还发现，推理成本随时间呈指数级下降，从2023年1月到目前，GPT-3.5级别的模型推理成本已降低266.7倍。此外，团队指出，模型小型化显示了端侧智能的巨大潜力，同时强调了模型压缩的有效性。密度定律提醒AI领域，不应盲目追求参数规模，而应注重模型性能与效率的平衡。

原文链接

本文链接：https://kx.umi6.com/article/10053.html

转载请注明文章出处

Densing Law