标题：推荐场景Scaling Law来了！中科大&华为诺亚方舟联合推出

当Scaling Law应用于推荐场景，模型又将如何表现？中科大认知智能全国重点实验室陈恩红团队联合华为诺亚方舟实验室推出了“推荐模型性能定律”，首次对模型性能与模型、数据的规模和质量进行了定量分析。

论文首次尝试对推荐大模型性能扩展定律给出明确的定量预测。与传统大模型扩展定律中的数据量指标不同，研究团队考虑了推荐领域的数据特性，提出了序列数据质量衡量指标，并从模型性能预测角度避免了因参数增大导致的过拟合问题。最终，基于提出的推荐大模型性能预测定律，能够在给定的数据集和模型配置下，有效预测模型的扩展潜力，同时实现模型参数的最优性能配置。

研究团队提出的新定律，能够定量预测模型的层数和物品嵌入维度对性能的影响。为应对数据质量研究不足的问题，引入了近似熵（ApEn）作为评价数据质量的创新性指标，将扩展定律中的数据规模替换为数据规模与近似熵之比，并通过理论和实验验证了这一替代的合理性。

研究人员还对提出的大模型性能预测定律进行了应用实验，成功预测了模型的最优性能参数配置和扩展潜力。近似熵值越高，数据的重复率越高。为避免概念混淆，研究采用ApEn′=1/ApEn作为近似熵的最终测度，并引入数据平均最小编码长度作为数据质量衡量指标。

验证实验表明，模型损失曲线与扩展法则高度一致，数据参数D’与ApEn的组合呈现明确的线性关系，证明了理论的有效性。应用实验进一步展示了性能法则中包含的衰减项有助于实现全局最优解。在小规模实验上，模型的扩展潜力和最优结果均得到了预测和验证。

更多细节请参考原论文。论文链接: https://arxiv.org/abs/2412.00430