12月20日，SGLang AI金融π对在杭州举办，聚焦大模型推理效率问题。活动中，昇腾作为算力平台被多次提及，现已原生支持SGLang推理引擎，DeepSeek、Qwen等模型可直接运行无需修改代码。SGLang通过HiCache、Mooncake等系统能力优化高并发、长上下文推理场景，并显著提升强化学习效率。昇腾与SGLang深度共建，优化覆盖多模态生成、量化及图模式支持，实现高性能推理。活动还展示了昇腾在真实业务场景中的灰度测试成果，未来将围绕推理系统持续投入，构建开源生态协作能力，推动AI算力规模化稳定运行。

2025年9月，SGLang团队联合slime团队发布首个实现100%可复现的稳定强化学习（RL）训练框架。该框架基于批次不变算子和定制注意力逻辑，解决了LLM推理中因动态批处理导致的不确定性问题，实现了完全确定性推理，并兼容分块预填充、CUDA Graph等功能。实验显示，其性能下降平均为34.35%，远优于此前的61.5%。目前主要适用于调试与复现场景，未来将优化算子性能并扩展支持MoE模型等。项目已开源，欢迎开发者试用反馈。

AMD宣布已将DeepSeek-V3模型集成到Instinct MI300X GPU上，该模型经SGLang强化并优化用于AI推理。DeepSeek-V3是目前最强的开源LLM，总参数量为671B。AMD表示，SGLang和DeepSeek团队的合作使DeepSeek V3 FP8能在英伟达和AMD GPU上运行。此外，DeepSeek-V3采用多头潜在注意力(MLA)和DeepSeekMoE架构，提升了训练和推理效率。AMD还感谢了美团搜索与推荐算法平台团队及DataCrunch提供GPU资源。该技术革新于1月25日公布，有望彻底改变AI开发。