综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
在2026 WAIC世界人工智能大会上,无问芯穹首次公布大模型推理系统新突破——跨集群异构推理架构PDD,并发布完整技术报告。该架构将传统PD分离解构为“P-RLD-MD”三级架构,通过广域网串联多地数据中心。其创新引入“中继站”RLD实例进行“接力跑”,成功攻克跨集群KV Cache传输延迟痛点。实测显示,该架构使首Token延迟降低51.5%,单Token成本直降37.5%,有效吞吐提升27.8%。此突破不仅显著提升用户体验,更盘活了全国分散的存量算力,实现全域异构资源最大化调度,为下一代大模型MaaS基础设施勾勒出极具弹性和经济性的新蓝图。
原文链接
近日,记忆张量联合商汤大装置在国产GPGPU上实现业内首个‘记忆—计算—调度’一体化PD分离商用推理集群。相比传统方案,新集群通过MemOS激活记忆体系,使单卡并发效率提升20%,吞吐量提升75%,综合推理性价比达NVIDIA A100的150%。此次合作将PD分离与记忆结构深度耦合,重构业务路径,打破性能上限,并在12台4P8D架构集群上稳定运行。商汤大装置提供系统级基础设施支持,底层算力由算丰信息支撑。这一成果标志着国产算力体系首次具备‘体系级’竞争力,为高性能模型大规模落地降本增效。未来,双方将继续深化合作,探索记忆驱动流水线推理底座及复杂任务编排,推动国产GPU从参数计算向记忆计算转型,定义下一代推理范式。
原文链接
加载更多
暂无内容