华为于8月12日正式发布AI推理创新技术UCM(推理记忆数据管理器),该技术以KV Cache为核心,融合多类型缓存加速算法工具,分级管理推理过程中的KV Cache数据,显著提升推理效率并降低成本。UCM可扩大上下文窗口,实现高吞吐、低时延的推理体验。根据计划,华为将于2025年9月在魔擎社区开源UCM,并逐步贡献给业界主流推理引擎社区及Share Everything存储厂商与生态伙伴,推动行业技术共享与发展。(财联社)
原文链接
本文链接:https://kx.umi6.com/article/23434.html
转载请注明文章出处
相关推荐
.png)
换一换
深圳大学联合华为满血版DeepSeek-R1上线
2025-02-21 09:46:16
华为首次线下展出昇腾 384 超节点:业界最大规模 384 卡高速总线互联
2025-07-26 16:43:24
华为与大连化学物理研究所签约合作,共建智能化工大模型
2024-11-27 22:06:16
华为创造AI算力新纪录:万卡集群训练98%可用度,秒级恢复、分钟诊断
2025-06-10 13:48:32
Meta 发布 ReasonIR-8B:破解 AI 复杂推理检索难题,刷新 BRIGHT 纪录
2025-05-01 16:31:24
黄仁勋:任何轻视华为和中国制造的人都极其天真
2025-07-16 17:11:28
南钢集团联合华为发布“元冶・钢铁大模型”,实现全流程、全产业链数据贯通与智能升级
2025-06-24 00:30:19
华为发布全新鸿蒙智能体
2025-06-20 16:01:30
华为公布人工智能模型处理专利 可用于提升AI模型性能
2025-02-08 14:28:52
春节档AI“抢戏”!华为、字节加入 科技巨头鏖战AI智能体
2025-01-28 15:51:27
每2秒吃透一道高数大题!华为终于揭秘准万亿MoE昇腾训练系统全流程
2025-05-30 16:54:34
AI七个月突破数学家“围剿”反超人类!14位数学家深挖原始推理token:不靠死记硬背靠直觉
2025-06-09 17:29:05
Intel新显卡卖爆!24GB大显存也在路上 AI玩家都来抢了
2024-12-24 17:38:56
448 文章
84851 浏览
24小时热文
更多

-
2025-08-12 17:23:47
-
2025-08-12 17:22:40
-
2025-08-12 17:21:25