标题:小红书推出首个社交大模型RedOne,性能全面提升
小红书发布了行业首个专为社交网络服务(SNS)定制的大模型RedOne。这款模型在8个核心SNS任务中平均性能提升14.02%,在双语评测基准上提升7.56%。在线测试显示,它将有害内容检测的曝光率降低11.23%,并使浏览后搜索的点击率提升14.95%。
SNS数据具有高度非规范化、强上下文依赖和显著情绪化的特点,这对传统自然语言处理技术提出了挑战。当前的单一任务模型难以应对多语言、多文化的真实场景,导致性能触顶。为此,小红书团队开发了RedOne,通过三阶段训练策略——继续预训练(CPT)、监督微调(SFT)和偏好优化(PO),使其“既懂社交、又懂规则、更懂用户”。
训练过程:层层递进
1. 继续预训练(CPT):结合高质量通用数据与SNS领域数据,构建超大规模数据集。通过数据筛选和混合,确保质量,并利用领域继续预训练注入SNS特有知识。
2. 监督微调(SFT):整理真实场景中的生成数据,涵盖笔记、评论等,强化模型在内容理解、语义匹配等六项核心能力上的表现。采用双步微调策略,兼顾通用性和领域特定任务。
3. 偏好优化(PO):通过专家标注和判别模型构建偏好数据集,利用直接偏好优化(DPO)算法对齐平台规则与用户偏好。
性能表现:全面领先
实验表明,RedOne在多项SNS任务中超越基础模型,甚至在部分任务上媲美更大规模的模型。消融实验验证了三阶段训练的有效性,其中CPT显著提升SNS任务表现,SFT强化任务能力,PO进一步优化输出质量。线上实验中,RedOne在有害内容检测和浏览后搜索任务中表现出色。此外,泛化性实验显示,混合通用数据能显著提升模型在未见任务上的表现。
未来展望
RedOne是首个全面覆盖SNS领域的定制化大模型,为平台内容治理和交互优化提供了新思路。研究团队希望其方法能为专用垂域大模型的开发提供参考,助力构建更可信、可控的社交网络生态。
论文链接:https://www.arxiv.org/pdf/2507.10605
.png)

-
2025-08-02 19:22:48
-
2025-08-02 18:23:34
-
2025-08-02 18:22:54