
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
无需数据标注!测试时强化学习,模型数学能力暴增159%!
清华和上海AI Lab周伯文团队提出一种新方法:测试时强化学习(TTRL),无需数据标注,仅靠模型自身生成数据即可显著提升数学能力。以Qwen-2.5-Math-7B为例,在AIME 2024竞赛题中的准确率从16.7%提升至43.3%,增幅...
原文链接
标题:10行代码让大模型数学提升20%,开源研究受谷歌关注
关键信息:独立学者提出仅需10行代码就能大幅提升大模型数学能力20%的改进方案,名为"最小p采样"(min-p sampling)。此方法旨在平衡生成文本的连贯性和多样性,通过动态调整抽样阈值来实现。研究显示,该方法已在Mistral-7...
原文链接
港中文贾佳亚团队发布新成果,利用10k数据和Step-DPO算法,72B Qwen模型在数学能力上超越GPT-4等模型,提升了5.6%。该团队借鉴教育方式,通过细化DPO形成逐步应用策略,增强了大模型的推理和长链条推理任务能力。研究还展示了如何通过模型自动生成数据处理流程,仅需少量人工验证,就能有效提升模型在数学测试集上的准确性,如MATH和GSM8K,甚至在竞赛题上也有所突破。项目代码、数据和模型已开放至GitHub和Hugging Face,供学术界和公众访问。
原文链接
加载更多

暂无内容