4月3日，NVIDIA宣布在MLPerf V5.0基准测试中，其Blackwell平台刷新纪录。MLPerf是由顶级机构创立的权威AI性能评测平台，此次新增了Llama 3.1 405B模型测试，该模型是目前最大且最具挑战性的开放权重模型之一。NVIDIA凭借GB200 NVL72系统，通过连接72个Blackwell GPU实现单个超大GPU运行，在Llama 3.1 405B测试中较H200 NVL8系统吞吐量提升了30倍。此外，基于Blackwell GPU的DGX B200系统在Llama 2 70B Interactive测试中，性能相较H200系统提升了三倍，显著优化了首次响应时间和每个输出令牌的时间，为AI推理部署提供了更高标准的解决方案。

MLCommons于12月11日在美国加州发布MLPerf Client基准测试0.5版本，这是首个公开版本。该基准测试由AMD、英特尔、微软、英伟达、高通及顶级PC OEM等公司合作开发，旨在评估消费级PC的AI性能。MLPerf Client基于Meta的Llama 2 7B开源LLM，包含内容...