4月11日，英伟达发布大型语言模型Llama-3.1-Nemotron-Ultra-253B-v1（简称Nemotron Ultra），该模型拥有2530亿参数，在推理能力、架构效率及生产准备度方面取得重大进展。作为Meta Llama-3.1-405B-Instruct架构的升级版，Nemotron Ultra专为企业和开发者设计，支持复杂指令执行及多轮对话。该模型采用创新的跳跃注意力机制，部分层省略或替换注意力模块，并通过前馈网络融合技术提升效率，上下文窗口可达128K token，适合长文本处理。在部署方面，Nemotron Ultra可在单个8xH100节点上高效运行，大幅降低数据中心成本。此外，英伟达通过多阶段后训练优化，包括监督微调和强化学习（RL），使其在多项基准测试中表现优异。