12月23日,华为数据存储与中科弘云联合发布AI推理加速解决方案。该方案以华为OceanStor A系列存储为数据底座,结合中科弘云HyperCN平台,优化长序列推理体验。方案支持英伟达、昇腾、寒武纪等多元算力,兼容主流框架,并通过Kubernetes实现无缝对接。其核心优势包括异构管理、细粒度算力调度、推理加速及端到端AI工具链。实测显示,在智能问答场景中,首Token时延降低57.5%;在长文档推理中,序列长度为39K时,并发能力提升86%,吞吐提升36%。目前,该方案已在能源电力、智能制造等领域启动试点应用。
原文链接
本文链接:https://kx.umi6.com/article/30673.html
转载请注明文章出处
相关推荐
换一换
华西医院联合华为数据存储发布“华西黉医”医学大模型:集成 10 余类通用模型和 50 余类垂域模型
2024-11-05 14:32:23
华为数据存储、中科弘云发布 AI 推理加速联合解决方案,适配英伟达、昇腾、寒武纪等算力
2025-12-23 17:49:09
群联推出 PCIe 5.0 企业级 SSD 新品 X201 / D201,核显 AI 推理加速方案同步亮相
2025-11-19 13:15:21
中科曙光正式公布scaleX万卡超集群:每节点640卡、总算力超500亿亿次
2025-12-23 10:34:31
杨立昆寄语有志从事 AI 行业的学生:打好基础,用好时间
2025-12-22 17:53:43
报道:明年英伟达GB300出货量可达5.5万台 Vera Rubin200预计明年四季度出货
2025-12-22 20:00:25
「Tokens 经济」引领 AI 产业化落地,火山引擎凭什么后来居上
2025-12-22 11:42:09
微软 CEO 纳德拉被曝亲自抓 AI 产品:每周开会、反复问进展、施压负责人
2025-12-23 00:08:48
全国首个开放式机器人租赁平台“擎天租”发布:租金最低 200 元起
2025-12-22 16:51:43
千年书院邂逅AI黑客松,跨学科实战解锁高校创新新生态
2025-12-22 16:51:32
火线解析MiniMax招股书!全球领先大模型成本只有OpenAI 1%,果然拳怕少壮
2025-12-22 00:10:24
SGLang原生支持昇腾,新模型一键拉起无需改代码
2025-12-21 23:08:38
盘前题材挖掘
2025-12-22 09:34:10
601 文章
386456 浏览
24小时热文
更多
-
2025-12-23 18:53:47 -
2025-12-23 18:52:41 -
2025-12-23 18:51:34