综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
12月20日,SGLang AI金融π对在杭州举办,聚焦大模型推理效率问题。活动中,昇腾作为算力平台被多次提及,现已原生支持SGLang推理引擎,DeepSeek、Qwen等模型可直接运行无需修改代码。SGLang通过HiCache、Mooncake等系统能力优化高并发、长上下文推理场景,并显著提升强化学习效率。昇腾与SGLang深度共建,优化覆盖多模态生成、量化及图模式支持,实现高性能推理。活动还展示了昇腾在真实业务场景中的灰度测试成果,未来将围绕推理系统持续投入,构建开源生态协作能力,推动AI算力规模化稳定运行。
原文链接
3月1日,DeepSeek发布文章《DeepSeek-V3/R1 推理系统概览》,首次公开其理论成本和利润率。文中指出,假设GPU租赁成本为2美元/小时,DeepSeek V3/R1的日总成本为87072美元。若按DeepSeek R1定价计算,日总收入可达562027美元,从而实现高达545%的成本利润率。
原文链接
DeepSeek官方在3月1日于知乎发布文章,详解DeepSeek-V3/R1推理系统。该系统旨在实现更大吞吐和更低延迟。通过大规模跨节点专家并行(EP)技术,系统优化了批处理大小,提高了传输效率。计算通信重叠技术进一步降低了延迟。此外,负载均衡策略确保了各GPU的均衡工作量。据统计,在2025年2月27日12:00至28日12:00期间,系统峰值占用278个节点,平均占用226.75个节点。系统每秒处理约73.7k输入tokens,14.8k输出tokens,总收入理论可达$562,027/天。
原文链接
加载更多
暂无内容