华为发布 AI 推理创新技术 UCM：可实现高吞吐、低时延推理体验，计划 9 月开源

2025-08-12 16:20:29

灵感Phoenix

发布在

快讯

阅读：438

8月12日，华为发布AI推理创新技术UCM（推理记忆数据管理器），该技术以KV Cache为中心，融合多类型缓存加速算法工具，分级管理推理过程中产生的记忆数据，可扩大上下文窗口，实现高吞吐、低时延的推理体验，并降低每Token推理成本。目前，UCM已在中国银联“客户之声”“营销策划”“办公助手”三大业务场景中试点应用并取得成果。华为计划于2025年9月将UCM开源，首发于魔擎社区，后续逐步贡献给主流推理引擎社区及Share Everything存储厂商和生态伙伴。

原文链接

本文链接：https://kx.umi6.com/article/23437.html

转载请注明文章出处

AI推理