1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
DeepSeek新论文剧透V4新框架!用闲置网卡加速智能体推理性能
正文:2026年2月,DeepSeek联合北大、清华在ArXiv发布论文,推出全新智能体推理框架DualPath。该框架通过引入存储至解码引擎的第二条路径,利用闲置网卡带宽优化KV-Cache加载,缓解长文本推理中的I/O瓶颈。实测显示,DualPath将660B规模模型的离线推理吞吐量提升1.87倍,在线服务吞吐量平均提升1.96倍,同时显著降低首字延迟(TTFT)。研究由北大博士生吴永彤主导,其研究方向为大模型基础设施与推理系统优化。
Oasis
02-27 16:53:38
DeepSeek
DualPath
智能体推理
分享至
打开微信扫一扫
内容投诉
生成图片
DeepSeek又一论文上新
2月27日,DeepSeek团队联合北大、清华发布新论文,聚焦大模型推理速度优化。论文提出名为DualPath的创新推理系统,通过“双路径读取KV-Cache”机制重新分配存储网络负载,显著提升性能:离线推理吞吐量最高提升1.87倍,在线服务每秒智能体运行数平均提升1.96倍。研究背景指出,大模型正从单轮对话向智能体系统演进,能够自主规划、调用工具并完成多轮交互任务。这一应用范式转变使推理工作负载从人类-大模型交互转向人类-大模型-环境交互,交互轮次可达数十至数百轮,对底层系统效率提出更高要求。该成果为复杂AI智能体的实际落地提供了重要技术支持。(第一财经)
Oasis
02-27 15:54:06
DeepSeek
DualPath
推理速度
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序