谷歌近日推出压缩算法TurboQuant,宣称可降低AI系统内存需求,实现约6倍键值缓存内存压缩。该技术针对大语言模型和向量搜索引擎中的键值缓存瓶颈问题,能在不重新训练或微调模型的情况下,将缓存压缩至3bit精度,同时基本保持模型准确率。测试显示,包括Gemma、Mistral等开源模型在内,TurboQuant最高可提升英伟达H100加速器性能约8倍。研究人员称,该技术还可优化大规模搜索引擎的向量检索能力。谷歌计划于4月在国际学习表征会议(ICLR 2026)上展示这一技术。
原文链接
本文链接:https://kx.umi6.com/article/34153.html
转载请注明文章出处
相关推荐
换一换
谷歌沉默,ICLR 未回应!TurboQuant 争议背后,大厂学术霸权该如何破局?
2026-03-31 12:49:24
谷歌新内存技术“炸”了存储芯片市场 闪迪暴跌超11%
2026-03-27 09:50:19
内存焦虑有救了!谷歌发布新型AI内存压缩技术
2026-03-26 11:55:04
内存厂暴跌上百亿 结果只是一个乌龙?
2026-03-30 00:17:48
谷歌新论文把内存股价干崩了!KV cache压缩6倍,网友:硅谷成真了 profile-avatar
2026-03-26 11:53:48
内存厂暴跌上百亿 结果只是一个乌龙?
2026-03-30 00:17:48
内存焦虑有救了!谷歌发布新型AI内存压缩技术
2026-03-26 11:55:04
绝杀OpenAI!首个Claude Duet上岗,Opus 5.5 24 小时替你打工
2026-10-22 09:32:38
全球首款AI智能体PC开售 华硕ProArt 创16 RTX Spark重塑本地AI创作工作流
2026-10-19 19:23:30
库克:苹果智能接入阿里千问大模型,10月底在中国发布测试版本
2026-10-15 19:05:51
今年第三起!又一部获奖小说被质疑由AI代笔
2026-10-21 15:40:01
字节火山引擎发起Seedance精品AI剧激励计划:月度TOP10单部最高奖20万元
2026-10-19 15:08:17
“山姆品质暴跌你还敢去吗”登热搜 山姆:遭数千条虚假信息恶意攻击
2026-10-19 15:06:58
718 文章
968925 浏览
24小时热文
更多
-
2026-10-22 11:40:49 -
2026-10-22 10:39:20 -
2026-10-22 10:37:52