1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
华为开源 SINQ AI 量化技术:显存占用最高削减 70%,单张 RTX 4090 能干 A100 的活
10月6日,华为苏黎世计算系统实验室开源全新AI量化技术SINQ(Sinkhorn归一化量化),可将大语言模型显存占用削减60%-70%,单张RTX 4090显卡即可完成此前需A100的任务。SINQ采用双轴采样和Sinkhorn归一化算法,无需复杂校准,显著提升压缩效率与模型精度。测试显示,其性能优于RTN、HQQ等主流免校准方法,接近校准方案水平,同时量化速度比HQQ快2倍、比AWQ快30倍以上。代码已通过Apache 2.0许可证在GitHub和Hugging Face开放,支持免费使用与商业化部署。
DreamCoder
10-06 08:32:49
SINQ
华为
量化技术
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序