
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
4月30日,小米开源首个专为推理设计的大模型「Xiaomi MiMo」。在AIME和LiveCodeBench评测中,MiMo仅用7B参数规模,就超越了OpenAI的o1-mini和阿里更大型号QwQ-32B-Preview。MiMo通过预训练和后训练结合的方式提升推理能力,预训练阶段生成约200B tokens推理数据,训练总量达25T tokens;后训练采用创新算法和框架,使RL训练速度提升2.29倍。MiMo已在HuggingFace开源,其技术细节也在GitHub公布。这是小米大模型Core团队的首次尝试,标志着AGI探索的持续努力。
原文链接
4月30日,小米开源首个“为推理而生”的大模型Xiaomi MiMo。该模型由小米大模型Core团队开发,仅用7B参数规模,在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)中超越了OpenAI的o1-mini及阿里Qwen的QwQ-32B-Preview。MiMo的推理能力提升得益于预训练和后训练阶段的数据与算法创新。预训练阶段通过挖掘富推理语料合成200B tokens数据,并进行三阶段训练,总计25T tokens;后训练阶段采用Test Difficulty Driven Reward算法缓解奖励稀疏问题,引入Easy Data Re-Sampling策略稳定RL训练,同时设计Seamless Rollout系统加速RL和验证过程。MiMo已在Hugging Face和GitHub上开源,技术报告同步发布。
原文链接
加载更多

暂无内容