清华大学KVCache.AI团队与趋境科技联合发布的KTransformers开源项目取得重大进展,成功在RTX 4090单卡上实现DeepSeek-R1满血运行,解决了大模型本地部署难题。该项目于2月10日成功运行DeepSeek-R1、V3的671B满血版,速度提高3~28倍。KTransformers不仅支持DeepSeek模型,还兼容各类MoE模型,预处理速度最高达286 tokens/s,推理生成速度达14 tokens/s。此技术有望降低AI大模型的运行成本,使其更加普及。
原文链接
本文链接:https://kx.umi6.com/article/13467.html
转载请注明文章出处
相关推荐
换一换
接入 DeepSeek-R1,星纪魅族 21、20 系列等机型 Aicy 语音助手获 11.3.19 版本升级
2025-02-11 02:29:56
融合DeepSeek-R1推理能力,有道发布“AI答疑笔”
2025-02-18 14:15:12
消息称微信正在内测接入 DeepSeek-R1 大模型
2025-02-15 22:10:02
趋境开源框架 KTransformers 成主流大模型首选,Qwen、Kimi、智谱 AI 推荐,单卡跑万亿模型
2025-11-20 22:47:09
中文在线:已在部分内部 AI 网文创作流程中部署 DeepSeek-R1
2025-02-05 22:14:26
华为小艺助手上线DeepSeek-R1 Beta版
2025-02-05 15:13:40
国行三星 Galaxy S25 系列手机官宣支持 DeepSeek-R1 大模型,进入 AI“智能体中心”即可体验
2025-03-03 22:41:56
英伟达宣布创造满血 DeepSeek-R1 模型 AI 推理性能的世界纪录
2025-03-19 09:22:05
飞书接入DeepSeek-R1后,用一次顶一万次,而且再也不「服务器繁忙」了
2025-02-11 10:43:42
支持 API 调用,国家超算互联网平台上线 DeepSeek-R1 满血版
2025-02-09 22:53:25
大模型六小虎首家 零一万物海外AI应用接入DeepSeek-R1
2025-02-11 17:01:49
深圳大学联合华为满血版DeepSeek-R1上线
2025-02-21 09:46:16
力压DeepSeek-R1!谷歌Gemini 2.0系列集体上新,全员跻身大模型竞技场前10
2025-02-06 12:29:24
737 文章
512857 浏览
24小时热文
更多
-
2026-03-09 21:13:27 -
2026-03-09 20:09:26 -
2026-03-09 20:09:18