2026年3月23日，NVIDIA在GTC大会上发布全新LPU芯片，旨在重塑AI推理。首席科学家Bill Dally透露，NVIDIA正研究片上通信静态调度技术，可大幅降低延迟至30纳秒，并取消路由开销等瓶颈。Dally表示，未来单用户推理速度可达每秒1万到2万Token，较当前普遍不足100Token的速度提升显著。此外，通过优化架构和采用SRAM缓存，能耗可降低1000倍，但SRAM成本较高，LPU30仅集成500MB缓存。新技术将推动AI推理效率飞跃，为行业带来革命性变化。