1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
腾讯混元AI Infra核心技术开源:推理吞吐提升30%
2月4日,腾讯混元AI Infra团队开源高性能LLM推理核心算子库HPC-Ops。在真实场景下,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。单算子性能方面,HPC-Ops的Attention较FlashInfer/FlashAttention最高提升2.22倍,GroupGEMM较DeepGEMM最高提升1.88倍,FusedMoE较TensorRT-LLM最高提升1.49倍。该技术开源为行业提供生产级解决方案,显著优化推理效率,展现技术领先性与实用性。
电子诗篇
02-04 19:00:46
AI Infra
HPC-Ops
腾讯混元
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序