11月6日，英伟达发文详解AI内存全栈协同设计策略。随着大模型及Agent应用扩张，AI内存压力加剧，单纯增加GPU高带宽内存（HBM）已遇瓶颈。英伟达提出将内存与存储视为整体数据层级，通过协同设计软硬件，结合NVFP4权重量化、KV Cache压缩与分层卸载及RAG优化等技术提升效率。数据显示，从Blackwell Ultra到Vera Rubin平台，单颗GPU的HBM容量仅增约3%，但在特定Agent负载下，每美元吞吐量最高提升30倍，以更低的单位成本实现了AI任务处理效率的大幅跃升。