港中文贾佳亚团队发布新成果，利用10k数据和Step-DPO算法，72B Qwen模型在数学能力上超越GPT-4等模型，提升了5.6%。该团队借鉴教育方式，通过细化DPO形成逐步应用策略，增强了大模型的推理和长链条推理任务能力。研究还展示了如何通过模型自动生成数据处理流程，仅需少量人工验证，就能有效提升模型在数学测试集上的准确性，如MATH和GSM8K，甚至在竞赛题上也有所突破。项目代码、数据和模型已开放至GitHub和Hugging Face，供学术界和公众访问。