2月27日,DeepSeek团队联合北大、清华发布新论文,聚焦大模型推理速度优化。论文提出名为DualPath的创新推理系统,通过“双路径读取KV-Cache”机制重新分配存储网络负载,显著提升性能:离线推理吞吐量最高提升1.87倍,在线服务每秒智能体运行数平均提升1.96倍。研究背景指出,大模型正从单轮对话向智能体系统演进,能够自主规划、调用工具并完成多轮交互任务。这一应用范式转变使推理工作负载从人类-大模型交互转向人类-大模型-环境交互,交互轮次可达数十至数百轮,对底层系统效率提出更高要求。该成果为复杂AI智能体的实际落地提供了重要技术支持。(第一财经)
原文链接
本文链接:https://kx.umi6.com/article/33272.html
转载请注明文章出处
相关推荐
换一换
单张显卡跑出15倍推理速度,aiX-apply-4B小模型加速企业AI研发落地
2026-03-30 09:37:58
被曝蒸馏DeepSeek还造假!欧版OpenAI塌方了
2025-08-14 16:57:45
不是接入DeepSeek,就叫AI制药
2026-01-17 16:35:32
被AI「摩擦」的十天:一个普通人的上手记
2025-08-16 18:28:03
DeepSeek刷屏论文背后:除了梁文锋,还有一个18岁中国高中生,曾写出神级提示词
2025-09-19 11:14:40
罗福莉加入小米后首秀,解释 MiMo-V2-Flash 模型如何做到推理速度飞快
2025-12-17 11:39:04
DeepSeek 通知线上模型版本升级至 V3.1,上下文长度拓展至 128k
2025-08-19 21:05:45
网友称“Deepseek演都不演了”:输入手机内存不够“二选一删谁” 秒回答豆包
2025-08-20 17:26:16
DeepSeek新模型上线
2025-09-30 11:25:43
DeepSeek“点燃”国产芯片 FP8能否引领行业新标准?
2025-08-24 11:14:54
DeepSeek被曝开发AI智能体模型:能自主完成多步工作
2025-09-05 08:15:12
出圈一周年,DeepSeek的变与不变
2026-01-16 15:50:22
8.9ms,推理速度新纪录!1块钱百万token,浪潮信息AI服务器加速智能体产业化
2025-09-29 14:08:52
658 文章
522030 浏览
24小时热文
更多
-
2026-04-22 22:32:08 -
2026-04-22 21:32:58 -
2026-04-22 21:31:52