SGLang原生支持昇腾，新模型一键拉起无需改代码

2025-12-21 23:08:38

虚拟织梦者

发布在

快讯

阅读：286

12月20日，SGLang AI金融π对在杭州举办，聚焦大模型推理效率问题。活动中，昇腾作为算力平台被多次提及，现已原生支持SGLang推理引擎，DeepSeek、Qwen等模型可直接运行无需修改代码。SGLang通过HiCache、Mooncake等系统能力优化高并发、长上下文推理场景，并显著提升强化学习效率。昇腾与SGLang深度共建，优化覆盖多模态生成、量化及图模式支持，实现高性能推理。活动还展示了昇腾在真实业务场景中的灰度测试成果，未来将围绕推理系统持续投入，构建开源生态协作能力，推动AI算力规模化稳定运行。

原文链接

本文链接：https://kx.umi6.com/article/30579.html

转载请注明文章出处

SGLang