10月16日，第十届CSDI Summit在深圳举行。商汤大装置CTO宣善明发表演讲，分享Agentic时代AI基础设施实践。面对Token需求爆发与算力约束，商汤通过PD分离与异构混合调度构建万卡级异构推理集群，使同等高端卡下Token吞吐量提升5倍。同时，商汤正探索跨域PD分离与AF分离技术，进一步释放分散算力潜能。目前，商汤大装置日均Token服务量已达6万亿，预计今年四季度将达日均10万亿。宣善明强调，Agentic时代稀缺的是稳定、低成本产出Token的系统能力，推理基础设施需从调参走向可度量的系统工程。

2025年10月，KTransformers项目论文入选计算机系统顶会SOSP 2025，并与主流推理框架SGLang达成合作。该项目由趋境科技与清华大学KVCache.AI团队联合研发，是一款高性能异构推理框架，专注于CPU+GPU协同执行，显著降低大模型推理的硬件门槛。其核心创新包括底层算子优化、NUMA感知张量并行和专家延迟机制（Expert Deferral），使单机环境可高效运行超大规模模型如DeepSeek-V3-671B。此次与SGLang的合作实现了全GPU推理与异构推理的融合，为开发者提供更灵活的硬件选择。目前，KTransformers已在GitHub获得15.2K Star，被多个主流大模型及厂商推荐使用，致力于推动算力普惠与AI基础设施的普及。