综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
【KV Cache暴降99%!港科CMU联手岩山科技开源EdgeRock-4B】近日,岩山科技旗下岩芯矩阵联合港科大、CMU等高校正式发布并开源新模型EdgeRock-4B。该模型首创“记忆岩锚”机制,解决长推理显存暴涨痛点。在256K上下文下,KV Cache占用锐减99.1%至72MiB,实现“推理再长,内存不涨”。性能上,单张80GB显卡可并发512路长推理,吞吐量飙升至源模型的6.42倍,大幅降低算力成本。同时推理能力未打折,AIME 2024-2026测试通过率达82.9%。模型支持图文推理且已全面开源,为端侧部署与智能体应用带来突破。
原文链接
加载更多
暂无内容