8月12日,华为发布AI推理创新技术UCM(推理记忆数据管理器),该技术以KV Cache为中心,融合多类型缓存加速算法工具,分级管理推理过程中产生的记忆数据,可扩大上下文窗口,实现高吞吐、低时延的推理体验,并降低每Token推理成本。目前,UCM已在中国银联“客户之声”“营销策划”“办公助手”三大业务场景中试点应用并取得成果。华为计划于2025年9月将UCM开源,首发于魔擎社区,后续逐步贡献给主流推理引擎社区及Share Everything存储厂商和生态伙伴。
原文链接
本文链接:https://kx.umi6.com/article/23437.html
转载请注明文章出处
相关推荐
.png)
换一换
华为与青岛城运控股集团签署深化合作协议
2025-04-10 20:09:03
TrendForce:全球AI服务器出货量有望年增近28% DeepSeek效应将提升AI推理占比
2025-02-12 15:34:10
员工年薪百万太容易!华为2025年拟招聘应届生一万余人:AI人才缺口大
2025-04-17 19:48:28
消息称华为正联合中国移动、乐聚机器人开展 5.5G 网络场景的机器人应用
2024-12-02 16:57:09
Anthropic 研究揭示:AI 推理的思维链解释不可全信
2025-05-20 12:40:05
iPhone16销量爆冷?苹果Q4在华销售额大跌18% 被华为小米反超
2025-01-21 17:45:06
华为即将发布AI推理领域突破性成果
2025-08-10 09:43:16
华为即将发布AI推理领域突破性成果:或能降低对HBM内存依赖
2025-08-10 10:45:55
华为李小龙:手机拍摄文字AI增强容易翻车 仍属业界难题
2025-01-02 01:06:26
Meta 发布 ReasonIR-8B:破解 AI 复杂推理检索难题,刷新 BRIGHT 纪录
2025-05-01 16:31:24
AI七个月突破数学家“围剿”反超人类!14位数学家深挖原始推理token:不靠死记硬背靠直觉
2025-06-09 17:29:05
时隔5年 任正非再次与上海交大校长会面
2025-07-23 13:51:33
方大特钢与华为开展全面合作,打造钢铁行业大模型
2025-01-13 10:53:49
488 文章
100355 浏览
24小时热文
更多

-
2025-08-12 19:22:50
-
2025-08-12 18:24:53
-
2025-08-12 18:24:15