英伟达重新思考AI TCO：为何每Token成本才是唯一重要的指标

在生成式AI与代理式AI时代，数据中心已从传统的数据存储与处理设施演变为“AI Token工厂”，其核心产出是以Token形式生成的智能。这一转变要求企业重新评估AI基础设施的经济效益，而不再局限于芯片峰值性能或每美元FLOPS等传统指标。

关键在于，算力成本和每美元FLOPS仅反映投入，而每Token成本则直接衡量产出效率，是决定AI规模化盈利的核心指标。NVIDIA通过全栈优化，实现了行业最低的每Token成本，为AI基础设施设定了新标准。

每Token成本的计算公式中，分子是每GPU小时成本，分母是实际交付的Token产出。降低每Token成本的关键在于最大化分母，即提升Token产出。这不仅能降低单位成本，还能提高收入能力，因为更高的Token产出意味着每兆瓦电力可创造更多价值。

然而，许多企业在评估AI基础设施时，往往只关注表层问题，如GPU小时成本、峰值性能或每美元FLOPS，而忽视了更深层次的因素，例如推理效率、模型支持能力以及软硬件协同优化。这些因素共同决定了实际的Token产出，从而影响每Token成本。

以DeepSeek-R1模型为例，尽管NVIDIA Blackwell平台的初始成本约为Hopper的2倍，但其每瓦Token产出量是后者的50倍以上，每百万Token成本仅为1/35。这种数量级差异表明，单纯依赖理论算力指标无法反映真实的商业价值。

因此，选择AI基础设施时，应聚焦于每Token成本和实际产出能力，而非仅关注输入指标。NVIDIA通过极致的软硬件协同设计，在计算、网络、内存、存储等领域全面领先，并持续优化开源推理软件，进一步降低Token成本。合作伙伴如CoreWeave和Together AI已通过部署NVIDIA Blackwell基础设施，为企业提供最低的Token成本与最优的AI交互体验。