综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
2月4日,腾讯混元AI Infra团队开源高性能LLM推理核心算子库HPC-Ops。在真实场景下,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。单算子性能方面,HPC-Ops的Attention较FlashInfer/FlashAttention最高提升2.22倍,GroupGEMM较DeepGEMM最高提升1.88倍,FusedMoE较TensorRT-LLM最高提升1.49倍。该技术开源为行业提供生产级解决方案,显著优化推理效率,展现技术领先性与实用性。
原文链接
加载更多
暂无内容