谷歌近日推出压缩算法TurboQuant,宣称可降低AI系统内存需求,实现约6倍键值缓存内存压缩。该技术针对大语言模型和向量搜索引擎中的键值缓存瓶颈问题,能在不重新训练或微调模型的情况下,将缓存压缩至3bit精度,同时基本保持模型准确率。测试显示,包括Gemma、Mistral等开源模型在内,TurboQuant最高可提升英伟达H100加速器性能约8倍。研究人员称,该技术还可优化大规模搜索引擎的向量检索能力。谷歌计划于4月在国际学习表征会议(ICLR 2026)上展示这一技术。
原文链接
本文链接:https://kx.umi6.com/article/34153.html
转载请注明文章出处
相关推荐
换一换
谷歌新内存技术“炸”了存储芯片市场 闪迪暴跌超11%
2026-03-27 09:50:19
谷歌沉默,ICLR 未回应!TurboQuant 争议背后,大厂学术霸权该如何破局?
2026-03-31 12:49:24
内存焦虑有救了!谷歌发布新型AI内存压缩技术
2026-03-26 11:55:04
内存厂暴跌上百亿 结果只是一个乌龙?
2026-03-30 00:17:48
内存厂暴跌上百亿 结果只是一个乌龙?
2026-03-30 00:17:48
谷歌新论文把内存股价干崩了!KV cache压缩6倍,网友:硅谷成真了 profile-avatar
2026-03-26 11:53:48
内存焦虑有救了!谷歌发布新型AI内存压缩技术
2026-03-26 11:55:04
业内首款超算+智算的大规模计算底座,在WAIC上我们找到了
2026-07-22 15:01:30
以场景为牵引,推动工业AI从单点实效迈向生产力跃迁
2026-07-19 15:17:24
白宫下场亲自「围攻」Kimi K3,评论区全员唱反调?
2026-07-23 12:53:43
不抢电、低耗水、还送免费Codex!OpenAI设法破解AI基建抵制
2026-07-24 00:12:30
启鸣达人首发《世界模型驱动的教育AGI白皮书》| WAIC 2026
2026-07-20 18:24:55
Windows真不差:实测AI性能3.4倍碾压Linux!
2026-07-20 18:30:38
697 文章
768831 浏览
24小时热文
更多
-
2026-07-24 00:15:46 -
2026-07-24 00:14:08 -
2026-07-24 00:12:30