
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
华为推出FusionSpec和OptiQuant两大AI黑科技,突破大模型推理延迟瓶颈。FusionSpec将投机推理框架耗时降至1ms,大幅提升推理速度;OptiQuant支持灵活量化,兼顾高性能与低成本,为超大规模MoE模型推理提供新解决方案。两项技术结合,助力中国AI发展,开启大模型高效推理新时代。
原文链接
加载更多

暂无内容