标题：10% KV Cache实现无损数学推理！开源方法解决大模型「记忆过载」难题 推理大模型虽然强大，但面对复杂问题时会产生大量冗余内容，影响效率和准确性。一种名为R-KV的开源方法通过高效压缩KV缓存解决了这一问题，显存需求减少90%，吞吐量提升6.6倍，且保持100%的推理准确率。 R-K...

北京大学、威斯康辛-麦迪逊大学和微软合作的团队开发出创新的PyramidKV缓存系统，仅使用2.5%的KV缓存就能保持大模型90%的性能。这项技术利用金字塔信息汇聚模式解决大模型的显存瓶颈问题，适用于长文本推理和显存节省。研究团队在Llama和Mistral大模型上进行实验，结果显示PyramidKV在LongBench多项任务中优于其他方法，特别是在节省内存场景中，性能提升显著。