1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:0.5B以小搏大拿下端侧模型新SOTA:4090可跑,长文本处理5倍加速
正文:
端侧性价比之王,清华大学和面壁智能团队开源新模型——MiniCPM 4,提供8B、0.5B两种参数规模,仅用同级别模型22%的训练开销便达最优性能。MiniCPM4-8B是首个开源的原生稀疏模型,5%的极高稀疏度使其在长文本、深思考端侧运行更流畅。在MMLU、CEval、MATH500、HumanEval等测试中,以22%训练开销,性能媲美Qwen-3-8B,超越Gemma-3-12B。MiniCPM4-0.5B同样表现出色,在MMLU、CEval、BBH、HumanEval等测试中性能超过Qwen-3-0.6B、Llama 3.2、Gemma3,并通过原生QAT技术实现几乎无损的int4量化及600Token/s推理速度。在Jetson AGX Orin与RTX 4090等端侧芯片上,MiniCPM4实现长文本处理5倍常规加速及极限场景百倍加速。MiniCPM4在模型架构、推理系统、数据治理与训练算法四方面创新,提出InfLLM v2原生稀疏注意力模型,大幅提升长上下文处理效率。该模型已在GitHub、Arxiv、Huggingface及ModelScope公开,欢迎探索。

原文链接
本文链接:https://kx.umi6.com/article/19994.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
0.5B以小搏大拿下端侧模型新SOTA:4090可跑,长文本处理5倍常规加速丨清华&面壁开源
2025-06-10 16:50:15
独家|杨红霞创业入局“端侧模型”,投后估值 1.5 亿美元
2024-06-07 18:33:33
手机厂开卷AI这一年 端侧大模型越做越小?|一线
2024-10-11 19:09:47
断网也能用!贾扬清团队推出端侧模型Chrome插件,arXiv/B站/吃瓜一件搞定
2024-07-19 15:47:28
加速端侧模型布局 OPPO收了一家AI创业企业!
2024-10-23 20:47:20
阿里通义千问发布 Qwen2.5-Turbo 开源 AI 模型:支持 100 万 tokens 上下文,处理时间缩短至 68 秒
2024-11-19 14:52:17
离线智能,什么时候迎来DeepSeek 时刻?
2025-07-26 14:41:20
腾讯发最大开源MoE模型,3890亿参数免费可商用,跑分超Llama3.1
2024-11-07 10:16:21
OpenAI发布GPT-4.1:开发者“特供”,超越4o,但还没遥遥领先
2025-04-15 15:34:47
Qwen开源首个长文本新模型,百万Tokens处理性能超GPT-4o-mini
2025-01-27 14:30:40
半个月三场大会,AI战火蔓延手机圈
2025-10-28 15:57:16
一年20万台出货,AI 玩具公司Haivivi 刚拿了2亿新融资,我们和创始人聊了聊
2025-08-25 12:30:28
苹果AI“百亿补贴”来了:免费开放端侧模型
2025-06-10 15:50:45
24小时热文
更多
扫一扫体验小程序