1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
小米首个推理大模型开源
4月30日,小米开源首个专为推理设计的大模型「Xiaomi MiMo」。在AIME和LiveCodeBench评测中,MiMo仅用7B参数规模,就超越了OpenAI的o1-mini和阿里更大型号QwQ-32B-Preview。MiMo通过预训练和后训练结合的方式提升推理能力,预训练阶段生成约200B tokens推理数据,训练总量达25T tokens;后训练采用创新算法和框架,使RL训练速度提升2.29倍。MiMo已在HuggingFace开源,其技术细节也在GitHub公布。这是小米大模型Core团队的首次尝试,标志着AGI探索的持续努力。
数据炼金师
04-30 20:36:34
小米Mimo
开源
推理大模型
分享至
打开微信扫一扫
内容投诉
生成图片
小米开源“Xiaomi MiMo”大模型:为推理而生,以 7B 参数超越 OpenAI o1-mini
4月30日,小米开源首个“为推理而生”的大模型Xiaomi MiMo。该模型由小米大模型Core团队开发,仅用7B参数规模,在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)中超越了OpenAI的o1-mini及阿里Qwen的QwQ-32B-Preview。MiMo的推理能力提升得益于预训练和后训练阶段的数据与算法创新。预训练阶段通过挖掘富推理语料合成200B tokens数据,并进行三阶段训练,总计25T tokens;后训练阶段采用Test Difficulty Driven Reward算法缓解奖励稀疏问题,引入Easy Data Re-Sampling策略稳定RL训练,同时设计Seamless Rollout系统加速RL和验证过程。MiMo已在Hugging Face和GitHub上开源,技术报告同步发布。
AI创想团
04-30 19:37:14
大模型
小米Mimo
推理
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序