腾讯混元AI Infra核心技术开源：推理吞吐提升30%

2026-02-04 19:00:46

电子诗篇

发布在

快讯

阅读：1193

2月4日，腾讯混元AI Infra团队开源高性能LLM推理核心算子库HPC-Ops。在真实场景下，混元模型推理QPM提升30%，DeepSeek模型QPM提升17%。单算子性能方面，HPC-Ops的Attention较FlashInfer/FlashAttention最高提升2.22倍，GroupGEMM较DeepGEMM最高提升1.88倍，FusedMoE较TensorRT-LLM最高提升1.49倍。该技术开源为行业提供生产级解决方案，显著优化推理效率，展现技术领先性与实用性。

原文链接

本文链接：https://kx.umi6.com/article/32602.html

转载请注明文章出处

AI Infra