2月4日,腾讯混元AI Infra团队开源高性能LLM推理核心算子库HPC-Ops。在真实场景下,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。单算子性能方面,HPC-Ops的Attention较FlashInfer/FlashAttention最高提升2.22倍,GroupGEMM较DeepGEMM最高提升1.88倍,FusedMoE较TensorRT-LLM最高提升1.49倍。该技术开源为行业提供生产级解决方案,显著优化推理效率,展现技术领先性与实用性。
原文链接
本文链接:https://kx.umi6.com/article/32602.html
转载请注明文章出处
相关推荐
换一换
智谱AI、360、清华系基金都投了 AI应用“卖铲人”硅基流动完成近亿元融资
2024-07-09 21:55:09
做难而正确的AI Infra创新——专访国产大模型推理引擎xLLM社区负责人刘童璇
2025-12-02 12:08:01
腾讯混元开源视频音效生成模型
2025-08-28 16:29:54
AI Infra进入自进化时代!清华团队AI优化AI造就国产万亿Token工厂
2026-08-18 12:39:17
腾讯混元自研深度思考模型「T1」正式发布
2025-03-21 23:47:21
华科校友在港冲刺AI infra第一股!中国最能赚的独立边缘云服务商,王小川投了
2025-06-25 17:48:13
一张图 + 一句话实现任意角色场景姿势,腾讯混元宣布开源定制化图像生成插件 InstantCharacter
2025-04-18 20:22:57
腾讯混元OCR模型宣布开源
2025-11-25 15:00:37
让用户无痛开发AI应用,袁进辉新公司获近亿元天使+轮融资 | 36氪首发
2024-07-04 12:29:16
在国际比赛中拿下 30 个第 1 名,腾讯混元开源轻量级翻译模型 Hunyuan-MT-7B
2025-09-01 19:23:51
赛道正在变得拥挤 腾讯混元大模型杀入文生视频 让用户 “用起来”是关键
2024-12-04 09:36:34
腾讯混元开源翻译模型 1.5:手机 1GB 内存即可运行,效果超越商用 API
2025-12-30 16:27:33
腾讯混元Hy ASR 3.0 preview:让语音识别理解上下文
2026-08-04 18:03:09
751 文章
1007982 浏览
24小时热文
更多
-
2026-10-22 11:40:49 -
2026-10-22 10:39:20 -
2026-10-22 10:37:52