调整训练数据顺序，让大模型更聪明！无需扩大规模

模型训练的关键不仅在于数据的数量和质量，还在于数据的出场顺序。微软亚洲研究院提出了一种全新的文本数据组织范式——DELT（Data Efficacy in LM Training），通过优化数据排序策略，充分挖掘训练数据潜力，在不同模型尺寸和数据规模下均显著提升了性能，且无需增加数据量或扩大模型规模。

数据效率与效能的区别

现有研究多关注“数据效率”（Data Efficiency），即如何选择高质量数据以提升训练效率。然而，“数据效能”（Data Efficacy）——通过优化数据组织方式增强模型表现——却常被忽视。以烹饪为例，数据效率如同挑选优质食材，而数据效能则像名厨精准把握调料投放时机，让菜品风味更佳。

当前大语言模型通常在海量数据上进行单次完整训练（epoch=1），而非多次迭代。这使得数据呈现的顺序对结果影响巨大。就像学生只能通读一本书一次，阅读顺序必须精心规划。基于此，DELT范式通过数据评分、选择和排序三大核心组件，优化了训练数据的组织方式。

DELT的核心机制

1. 数据评分：结合质量和可学习性两个指标，为每个样本打分，筛选出高质量且适合当前训练阶段的数据。
2. 数据选择：根据评分筛选最优子集（如top-k或按阈值筛选）。
3. 数据排序：引入全新Folding Ordering（FO）方法，避免传统课程学习排序可能导致的模型遗忘问题，通过分层采样实现均衡分布。

效果与意义

DELT不仅提升了训练效率，还在预训练和后训练阶段显著改善了模型性能，适用于通用、数学和代码等多领域任务。实验表明，在不同数据规模和模型尺寸下，DELT均表现出色，为Data-centric AI领域提供了新思路。

看来，AI训练也需要像人类学习一样讲究个性化与循序渐进。
论文链接：https://arxiv.org/abs/2506.21545
代码链接：https://github.com/microsoft/DELT