清华大学KVCache.AI团队与趋境科技联合发布的KTransformers开源项目取得重大进展,成功在RTX 4090单卡上实现DeepSeek-R1满血运行,解决了大模型本地部署难题。该项目于2月10日成功运行DeepSeek-R1、V3的671B满血版,速度提高3~28倍。KTransformers不仅支持DeepSeek模型,还兼容各类MoE模型,预处理速度最高达286 tokens/s,推理生成速度达14 tokens/s。此技术有望降低AI大模型的运行成本,使其更加普及。
原文链接
本文链接:https://kx.umi6.com/article/13467.html
转载请注明文章出处
相关推荐
换一换
DeepSeek-R1持续刷屏,连Open R1都来了!抱抱脸发起,1天狂揽1.9k星
2025-01-26 12:10:08
深圳大学联合华为满血版DeepSeek-R1上线
2025-02-21 09:46:16
国行三星 Galaxy S25 系列手机官宣支持 DeepSeek-R1 大模型,进入 AI“智能体中心”即可体验
2025-03-03 22:41:56
DeepSeek-R1超级外挂!“人类最后的考试”首次突破30分,上海交大等开源方案碾压OpenAI、谷歌
2025-07-09 14:04:55
华安证券完成DeepSeekR1模型本地化部署 布局券商已十家
2025-02-08 18:34:00
接入DeepSeek-R1联网满血版大模型,联想发布小新Pro系列新品
2025-02-19 10:45:41
腾讯文档接入 DeepSeek-R1 满血版,支持实时联网搜索
2025-02-17 15:55:37
华为小艺助手上线DeepSeek-R1 Beta版
2025-02-05 15:13:40
网易有道宣布拥抱 DeepSeek 大模型,智能硬件新品不久后推出
2025-02-06 19:39:35
QQ 音乐已集成满血版 DeepSeek-R1,AI 助手音乐问答更精准
2025-02-11 08:39:50
天翼云CPU实例部署DeepSeek-R1模型最佳实践
2025-03-03 18:30:08
全国首个,深圳海关智能查验机器人引入“满血版”DeepSeek-R1
2025-04-07 09:46:17
网易有道全线AI应用接入DeepSeek-R1
2025-02-06 17:34:52
842 文章
1015715 浏览
24小时热文
更多
-
2026-09-07 10:44:22 -
2026-09-06 21:14:00 -
2026-09-06 20:12:34