摩尔线程科研团队近日发布《Round Attention：以轮次块稀疏性开辟多轮对话优化新范式》成果，使端到端延迟低于主流Flash Attention推理引擎，kv-cache显存占用节省55%-82%。该方法针对多轮对话场景，通过轮次为单元分析Attention规律，提升了计算效率并节省显存。测试显示，模型推理准确率未受影响。此成果有望显著提高AI交互性能。