中科大与华为发布生成式推荐大模型，可在国产昇腾NPU上部署。在信息爆炸的时代，推荐系统已成为生活的重要组成部分。Meta提出的生成式推荐范式HSTU，将参数扩展至万亿级别，取得显著成果。

中科大与华为合作开发的推荐大模型部署方案适用于多种场景。报告总结了推荐范式的演变历程，指出具备扩展定律的生成式推荐范式是未来趋势。研究复现并分析了不同架构的生成式推荐模型及其扩展定律，通过消融实验揭示了HSTU扩展定律的来源，并使SASRec具备扩展性。HSTU在复杂场景和排序任务中的表现及扩展性得到验证，团队对未来研究方向进行了展望。

研究发现，具备扩展定律的生成式推荐范式正成为未来趋势。团队对比了HSTU、Llama、GPT和SASRec四种基于Transformer的架构，结果显示HSTU和Llama在参数扩展时性能显著提升，而GPT和SASRec扩展性不足，原因在于缺乏专为推荐任务设计的关键组件。

为探究HSTU等模型的可扩展性来源，团队进行了消融实验，发现相对注意力偏移（RAB）至关重要。通过引入HSTU的RAB并调整SASRec的残差连接方式，SASRec展现出良好扩展性。HSTU在多域、多行为和辅助信息等复杂场景中表现优异，在排序任务中也优于传统模型。

团队还研究了负采样率、评分网络架构及embedding维度对性能的影响，发现推荐大模型的扩展定律受垂直扩展和水平规模共同影响。未来研究将聚焦数据工程、Tokenizer、训练推理效率等领域，拓宽应用场景。

论文链接：https://arxiv.org/abs/2412.00714
主页链接：https://github.com/USTC-StarTeam/Awesome-Large-Recommendation-Models