1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
“接力跑”盘活全国算力,PD分离终于破局:延迟砍半、成本直降近40%!
在2026 WAIC世界人工智能大会上,无问芯穹首次公布大模型推理系统新突破——跨集群异构推理架构PDD,并发布完整技术报告。该架构将传统PD分离解构为“P-RLD-MD”三级架构,通过广域网串联多地数据中心。其创新引入“中继站”RLD实例进行“接力跑”,成功攻克跨集群KV Cache传输延迟痛点。实测显示,该架构使首Token延迟降低51.5%,单Token成本直降37.5%,有效吞吐提升27.8%。此突破不仅显著提升用户体验,更盘活了全国分散的存量算力,实现全域异构资源最大化调度,为下一代大模型MaaS基础设施勾勒出极具弹性和经济性的新蓝图。
Nebula
07-30 14:44:14
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序