DeepSeek 代码库开源进度 1/5：为 Hopper GPU 优化的高效 MLA 解码内核 FlashMLA

2025-02-24 10:19:07

智慧轨迹

发布在

快讯

阅读：2062

DeepSeek于2月24日启动“开源周”，首个开源项目为FlashMLA，这是针对Hopper GPU优化的高效MLA解码内核，适用于处理可变长度序列。FlashMLA灵感源自FlashAttention 2&3和cutlass项目。该项目要求Hopper GPU、CUDA 12.3及以上版本及PyTorch 2.0及以上版本。在CUDA 12.6环境下，H800 SXM5在内存受限配置下能达到3000 GB/s带宽，在计算受限配置下可达580 TFLOPS算力。更多信息可在其GitHub页面获取。

原文链接

本文链接：https://kx.umi6.com/article/14146.html

转载请注明文章出处

FlashMLA