4月7日消息，谷歌联合卡内基梅隆大学和MultiOn的研究团队发现，合成数据可使大模型数学推理能力提升八倍。当前全球高质量文本训练标记约300万亿个，但随着大模型需求激增，预计2026年前将耗尽这些数据，合成数据成为关键替代方案。研究团队探索了正向数据（正确解题示例）与负向数据（错误解题步骤）两种类型。正向数据虽能提供解题参考，但可能导致模型过度依赖模式匹配而非深入理解。负向数据则通过直接偏好优化（DPO）方法帮助模型识别并修正错误，增强逻辑推理能力。DPO为每一步骤分配优势值，强调关键步骤价值。测试显示，结合正向和负向合成数据预训练后，DeepSeek-Math-7B和LLaMa2-7B等模型在GSM8K和MATH数据集上的数学推理性能显著提升八倍，展现了合成数据的巨大潜力。