综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
5月21日,智谱发布新型推理集群组网架构ZCube,已在生产环境完成验证。该架构在不新增GPU、不更换服务器、不修改代码的情况下,实现集群推理吞吐量提升15%,首Token响应尾延迟(TTFT P99)下降40.6%。同时,交换机与光模块硬件成本减少三分之一。这一成果或将推动大规模AI集群组网采购向“更少层级、更大端口密度”演进,并促使光模块需求向更高速率集中,为AI基础设施优化提供新方向。(记者 李明明)
原文链接
加载更多
暂无内容