综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
正文:2026年2月,DeepSeek联合北大、清华在ArXiv发布论文,推出全新智能体推理框架DualPath。该框架通过引入存储至解码引擎的第二条路径,利用闲置网卡带宽优化KV-Cache加载,缓解长文本推理中的I/O瓶颈。实测显示,DualPath将660B规模模型的离线推理吞吐量提升1.87倍,在线服务吞吐量平均提升1.96倍,同时显著降低首字延迟(TTFT)。研究由北大博士生吴永彤主导,其研究方向为大模型基础设施与推理系统优化。
原文链接
加载更多
暂无内容