1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
KV Cache砍掉99%,单卡吞吐飙6倍,港科CMU联手岩山科技开源新模型
【KV Cache暴降99%!港科CMU联手岩山科技开源EdgeRock-4B】近日,岩山科技旗下岩芯矩阵联合港科大、CMU等高校正式发布并开源新模型EdgeRock-4B。该模型首创“记忆岩锚”机制,解决长推理显存暴涨痛点。在256K上下文下,KV Cache占用锐减99.1%至72MiB,实现“推理再长,内存不涨”。性能上,单张80GB显卡可并发512路长推理,吞吐量飙升至源模型的6.42倍,大幅降低算力成本。同时推理能力未打折,AIME 2024-2026测试通过率达82.9%。模型支持图文推理且已全面开源,为端侧部署与智能体应用带来突破。
DreamCoder
10-26 18:12:15
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序