
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
6月6日晚,面壁智能发布端侧大模型MiniCPM 4.0,该模型全面适配Intel处理器,结合英特尔加速套件与KV Cache内存增强技术,使AI PC在长文本推理上优化2.2倍。此次发布的MiniCPM 4.0系列包括8B和0.5B两种参数规模,通过“高效双频换挡”机制,可根据任务需求自动切换稀疏或稠密注意力模式,提升长、短文本处理效率。英特尔酷睿Ultra处理器已实现对该模型的Day 0支持,并利用OpenVINO工具套件优化性能。此外,MiniCPM 4.0可在vLLM、SGLang、LlamaFactory、XTuner等开源框架部署,内置CPM.cu框架,实现模型瘦身和速度提升90%,官方称其为端侧推理带来更流畅体验。
原文链接
6月7日消息,面壁智能于6日晚发布端侧大模型MiniCPM 4.0。该系列包括8B和0.5B两种参数规模,其中8B版本采用“高效双频换挡”机制,可根据任务特征自动切换注意力模式,优化长、短文本处理效率;0.5B版本则被称为“轻巧灵动的最强小小钢炮”。MiniCPM 4.0基于自研CPM.cu推理框架,支持在vLLM、SGLang、LlamaFactory等框架部署,极限场景下提速达220倍,常规场景下提速5倍。此外,官方强调其模型压缩量化创新及端侧部署优化,可实现90%的瘦身与速度提升,旨在提供流畅的端侧推理体验。
原文链接
加载更多

暂无内容