2025年，AI算力市场将迎来重大转变。随着行业从“训练模型”转向“模型推理”，推理基础设施的需求将显著增加。这意味着大模型需通过AI推理才能广泛应用，AI工作负载格局也将发生变化。据巴克莱研报，AI推理计算需求将快速增长，预计占通用人工智能总计算需求的70%以上，甚至可能超过训练计算需求的4.5倍。

2025年，这些变化将为专注推理的“小”芯片公司提供发展空间。例如，Groq、SambaNova和Positron AI等公司纷纷向英伟达发起挑战。Groq由前谷歌TPU团队成员创办，其LPU号称“世界最快推理”，并拥有超低的token成本。尽管Groq创始人声称LPU速度比英伟达GPU快10倍，但实际应用中成本和能耗仍需优化。

SambaNova以50亿美元估值位居AI芯片初创公司榜首，其RDU架构在性能上具有明显优势。SambaNova还提供定制技术堆栈，包括芯片到服务器系统，甚至大模型部署。SambaNova联创Rodrigo Liang强调，公司重心在于帮助企业高效扩展规模，推动从训练到推理的转变。

Positron AI成立于2023年，致力于降低AI推理成本，使其更加普及。Positron CEO Thomas Sohmers表示，公司将通过提供更多专用于推理的计算资源，推动“链式思维”等能力的广泛应用。

面对挑战，英伟达也在努力保持领先。近期推出的B300系列提升了大模型的推理性能，增加了显存容量。英伟达还在多个领域构建定制芯片，计划发布新一代人形机器人芯片Jetson Thor。面对竞争，英伟达依然占据主导地位。