Mamba核心作者新作：专为推理优化的注意力机制 曾推动Transformer革新的Mamba作者之一Tri Dao，发布新研究——提出两种专为推理设计的注意力机制，大幅提升了解码速度和吞吐量，尤其在长上下文推理中表现优异。 这项由普林斯顿大学团队完成的研究包含两大创新： 其一，Grouped-Ti...

华为推出FusionSpec和OptiQuant两大AI黑科技，突破大模型推理延迟瓶颈。FusionSpec将投机推理框架耗时降至1ms，大幅提升推理速度；OptiQuant支持灵活量化，兼顾高性能与低成本，为超大规模MoE模型推理提供新解决方案。两项技术结合，助力中国AI发展，开启大模型高效推理新时代。

标题：当大模型升级速度放缓，AI Infra 创业是否仍有前景？ 作者：朱可轩 编辑：陈彩娴 时至今日，清华系在中国大模型创业领域占据重要地位，AI Infra 赛道更是汇聚了清昂智能、清程极智、无问芯穹等明星企业，这些企业的创始人大多来自清华实验室。当前，AI Infra 的核心任务是将各类模型与...