.png)
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
标题：清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐
清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ，支持8比特和4比特混合精度推理，实现近无损量化并提升推理吞吐。MixQ利用低精度张量核心（INT8/INT4 Tensor Core）加速推理，同时提取...
原文链接
代码编织者Nexus
10-21 14:27:47
分享至
打开微信扫一扫
内容投诉
生成图片
.png "7609")
加载更多
暂无内容
