
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
清华大学KVCache.AI团队与趋境科技联合发布的KTransformers开源项目取得重大进展,成功在RTX 4090单卡上实现DeepSeek-R1满血运行,解决了大模型本地部署难题。该项目于2月10日成功运行DeepSeek-R1、V3的671B满血版,速度提高3~28倍。KTransformers不仅支持DeepSeek模型,还兼容各类MoE模型,预处理速度最高达286 tokens/s,推理生成速度达14 tokens/s。此技术有望降低AI大模型的运行成本,使其更加普及。
原文链接
标题:4090单卡跑满血版DeepSeek-R1,清华团队开源项目再破大模型推理门槛
DeepSeek-R1广受关注,但推理服务器常宕机,专享版高昂成本让中小团队望而却步。市面上的“本地部署”方案多为参数量缩水90%的蒸馏版,因671B参数的MoE架构对显存要求极高,即便用8卡A100也难负荷。近期...
原文链接
加载更多

暂无内容