北京大学、威斯康辛-麦迪逊大学和微软合作的团队开发出创新的PyramidKV缓存系统，仅使用2.5%的KV缓存就能保持大模型90%的性能。这项技术利用金字塔信息汇聚模式解决大模型的显存瓶颈问题，适用于长文本推理和显存节省。研究团队在Llama和Mistral大模型上进行实验，结果显示PyramidKV在LongBench多项任务中优于其他方法，特别是在节省内存场景中，性能提升显著。