
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
2025年9月,SGLang团队联合slime团队发布首个实现100%可复现的稳定强化学习(RL)训练框架。该框架基于批次不变算子和定制注意力逻辑,解决了LLM推理中因动态批处理导致的不确定性问题,实现了完全确定性推理,并兼容分块预填充、CUDA Graph等功能。实验显示,其性能下降平均为34.35%,远优于此前的61.5%。目前主要适用于调试与复现场景,未来将优化算子性能并扩展支持MoE模型等。项目已开源,欢迎开发者试用反馈。
原文链接
AMD宣布已将DeepSeek-V3模型集成到Instinct MI300X GPU上,该模型经SGLang强化并优化用于AI推理。DeepSeek-V3是目前最强的开源LLM,总参数量为671B。AMD表示,SGLang和DeepSeek团队的合作使DeepSeek V3 FP8能在英伟达和AMD GPU上运行。此外,DeepSeek-V3采用多头潜在注意力(MLA)和DeepSeekMoE架构,提升了训练和推理效率。AMD还感谢了美团搜索与推荐算法平台团队及DataCrunch提供GPU资源。该技术革新于1月25日公布,有望彻底改变AI开发。
原文链接
加载更多

暂无内容