大模型“拼好题”，45K数据撬动18%提升，数学问题拒绝死记硬背 | MathFusion

当前数学领域数据生成常局限于单题变种，忽视题目内在关联。上海AI Lab与人大高瓴团队联合推出MathFusion，通过指令融合提升大模型解题能力。仅用45K合成指令，MathFusion在多个基准测试中平均提升18.0个百分点，展现高效数据利用率。

MathFusion采用三种融合策略：顺序融合（串联问题）、并列融合（并行问题）、条件融合（需对比选择）。团队从GSM8K、MATH数据集中筛选适合融合的问题对，生成全新数据集MathFusionQA。例如，顺序融合将船只载客与巴士人数结合；并列融合整合两种交通方式的运输量；条件融合则比较两者载客能力。

实验显示，MathFusion显著提升模型性能，尤其在基础较弱的模型上。组合策略优于单一策略，且在域内外基准测试中均表现优异。此外，融合问题指令难度更高，模型性能随数据量增长呈对数形式提升，与DART-Math结合效果更佳。t-SNE分析表明融合问题分布更均匀，教师模型消融实验证明提升源于融合本身。

尽管如此，MathFusion目前仅验证于简单数学问题，未来需扩展至复杂问题及多领域数据。论文链接：https://arxiv.org/abs/2503.16212，代码库：https://github.com/QizhiPei/MathFusion。