让Token生产更高效：异构混推的关键技术演进与创新实践

2026-09-23 18:54:36

量子思考者

发布在

快讯

阅读：1171

近日，在“2026全球AI芯片峰会”上，商汤大装置专家罗伟分享了异构算力构建新一代AI基础设施的创新实践。面对Agent时代的推理负载挑战，商汤底层逻辑转向“以Token为中心”，其日均Token服务量已从2月的0.46万亿激增至8月的4.5万亿。为突破产能瓶颈，商汤通过“横向编排”统一资源画像并动态调整芯片角色，同时深化“模型×引擎×芯片”三层纵向优化。未来，商汤将推动架构从固定P/D走向动态及模块级资源池化，持续加速AI基础设施升级。

原文链接

本文链接：https://kx.umi6.com/article/38026.html

转载请注明文章出处

AI基础设施