当AI执行写代码等复杂任务时，需要记住大量历史信息，这些“记忆”在技术上叫KV Cache，就像模型的“草稿本”。任务越长，草稿本越厚，昂贵的GPU显存很快就装不下了。

显存告急时，系统只能清掉部分草稿。等AI再次需要这些信息时，GPU就得重算一遍。这不仅让用户等待时间变长，还浪费了宝贵的算力。

破局之道是“以存代算”，把记忆交给CPU管理。系统可将暂时不用的草稿转移到CPU侧的内存或硬盘中，为GPU腾出空间。

为了让存取更高效，英特尔推出了KV Shrink等优化技术。它利用CPU内置的QAT专用硬件加速压缩草稿，能无损节省20%至30%的存储空间，且几乎不增加延迟。测试表明，该技术能让模型的首字响应速度最高提升约5倍。

简而言之，让GPU专心做“新题”，让CPU和存储系统帮忙管理“旧草稿”，避免重复计算。这不仅能让大模型响应更快，还能大幅降低数据中心的运营成本。