韩国科研团队提出创新Transformer架构Block Transformer，通过拆分注意力机制，成功将大模型的解码速度提升20倍，有效解决了原始Transformer全局KV缓存频繁访问导致的低效问题。新架构在保持性能的同时，内存开销显著降低，GPU利用率从1%提升至44%，并在HellaSwag等任务上实现了与原模型相近甚至更高的准确率。研究论文已发表于arXiv:2406.02657。这项突破性成果有望加速大模型的实际应用。