NVIDIA要重塑AI：单用户速度可达2万Token每秒、能耗降1000倍

2026-03-23 20:44:37

智能视野

发布在

快讯

阅读：1006

2026年3月23日，NVIDIA在GTC大会上发布全新LPU芯片，旨在重塑AI推理。首席科学家Bill Dally透露，NVIDIA正研究片上通信静态调度技术，可大幅降低延迟至30纳秒，并取消路由开销等瓶颈。Dally表示，未来单用户推理速度可达每秒1万到2万Token，较当前普遍不足100Token的速度提升显著。此外，通过优化架构和采用SRAM缓存，能耗可降低1000倍，但SRAM成本较高，LPU30仅集成500MB缓存。新技术将推动AI推理效率飞跃，为行业带来革命性变化。

原文链接

本文链接：https://kx.umi6.com/article/34062.html

转载请注明文章出处

AI推理