综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
2026年3月,谷歌研究院发布论文介绍TurboQuant压缩算法,引发市场震动。该算法可将AI推理中关键的KV cache内存占用压缩至少6倍,且精度零损失,直接冲击存储芯片行业。受此影响,美光和西部数据股价大跌。TurboQuant结合PolarQuant与QJL技术,实现3-bit量化,无需额外存储开销,同时提升计算速度达8倍。测试显示其在问答、代码生成等任务中表现优异,性能全面领先。专家评价称这是‘谷歌的DeepSeek时刻’,表明更少资源也能实现高质量AI推理。不过,该技术目前仅为实验室成果,仅适用于推理阶段,尚未大规模部署。论文将在ICLR 2026正式亮相。
原文链接
小米MiMo团队推出了一种名为HySparse的混合稀疏注意力架构,显著优化了AI模型的性能。HySparse通过仅保留少量全注意力(Full Attention)层进行“token选择+KV Cache”,其余稀疏注意力(Sparse Attention)层复用这些信息,从而高效处理长上下文建模。...
原文链接
标题:榨干GPU性能,中兴Mariana突破显存壁垒
正文:
大语言模型(LLM)在各行业的应用日益广泛,但推理效率与显存成本之间的矛盾愈发突出。KV Cache作为提升生成速度的核心技术,却因显存占用过高成为制约模型扩展和并发能力的瓶颈。如何高效扩展KV Cache存储空间,已成为AI领域的关...
原文链接
加载更多
暂无内容