推理成本降至1元/每百万token，浪潮信息突破AI规模化瓶颈 允中 发自 凹非寺 量子位 | 公众号 QbitAI 全球AI产业已从模型性能竞争转向智能体规模化落地的关键阶段，“降本”成为决定AI企业盈利与行业突破的核心。在此背景下，浪潮信息推出元脑HC1000超扩展AI服务器，将推理成本首次...

2025年12月，美国两大AI盛会NeurIPS和re:Invent分别在圣地亚哥与拉斯维加斯举行，聚焦AI研究与落地。亚马逊云科技CEO Matt Garman宣布12项AI新发布，围绕Agent的基建与开发，称其正释放AI价值。然而，‘Agent热’背后，开发者对基础设施薄弱、推理成本高昂等问题保持冷静。PingCAP联合创始人黄东旭指出，内存短缺、软件生态未适配AI需求是主要挑战。创业者需降低推理成本80%才能盈利，而数据库厂商则探索优化数据交互与扩容方案。英伟达等巨头投资AI基建，推动Infra优化以应对Agent开发需求。业内人士提醒，若基建跟不上应用热潮，可能形成泡沫。

Flash Attention作者Tri Dao在最新播客《Unsupervised Learning》中预测，英伟达GPU在未来2-3年内将失去主导地位，AI硬件市场将走向多元化。他认为，随着专用芯片的兴起，推理成本有望再降10倍，而Transformer架构已足够稳定，可支撑未来AI发展。他指出，Mixture of Experts（MoE）等技术推动了模型稀疏化与推理优化，同时低延迟、高吞吐等多样化工作负载需求将催生不同硬件优化方向。此外，他对AI达到专家水平表示期待，认为现有架构虽能实现AGI，但更高效的设计或可大幅降低成本。他还提到，实时视频生成和机器人领域可能成为下一波重要应用。

2025年8月10日，OpenAI发布的开源模型gpt-oss采用MXFP4数据类型，将推理成本降低75%，推理速度提升4倍。新数据类型使1200亿参数的大模型可在80GB显存的显卡上运行，16GB显存即可支持200亿参数版本。MXFP4通过压缩权重存储和优化内存带宽，显著减少硬件资源需求，其缩放机制确保精度损失最小化。尽管MXFP4对硬件支持无严格要求，但性能优势需特定芯片（如Nvidia Blackwell）发挥最大效果。英伟达提出改进版NVFP4以进一步提升质量。OpenAI选择MXFP4表明其在大语言模型中的实用性。

5月13日，《科创板日报》报道，字节跳动Seed团队发布视觉-语言多模态大模型Seed1.5-VL。该模型在超3Ttokens的多模态数据上预训练，具备强通用多模态理解和推理能力，且推理成本低。尽管其参数仅20B，但在60个评测基准中38个达到SOTA表现，尤其在视频和GUI任务中表现优异。与谷歌Gemini 2.5 Pro相比，Seed1.5-VL在部分任务中性能相当，但成本更低。模型在视觉定位、计数及GUI交互上有突出表现，但目标计数、复杂空间关系解析及视频动作推理等方面仍有不足。目前，Seed1.5-VL已通过火山引擎开放API供用户体验。国内外大厂纷纷布局多模态技术，全球AI竞争激烈，算力需求随之增长。

字节跳动宣布，其最新思考模型Seed-Thinking-v1.5计划于4月17日通过火山引擎开放接口供用户测试体验。目前，该模型的技术报告已公开。Seed-Thinking-v1.5在数学、编程、科学推理等专业领域以及创意写作等通用任务中表现出色。该模型采用了MoE架构，总参数量达200B，但激活参数仅为20B，展现出显著的推理成本优势。据称，其单位推理成本较DeepSeek R1降低了50%，这标志着其在效率和经济性上的双重提升。

斯坦福大学HAI发布的2025 AI Index显示，AI推理成本降低至原来的1/280，开源模型性能快速提升。报告指出，中美AI模型差距正在缩小，2024年美国开发40个模型，中国15个，但性能差异接近相等。中国对AI态度最为乐观，83%的人认为利大于弊。AI基准测试成绩显著提高，接近人类水平，但在复杂推理任务上仍有不足。此外，AI应用加速落地，2024年78%的组织使用AI，美国AI投资达1091亿美元，是全球最高。报告还提到各国加强AI监管与投资，生成式AI吸引339亿美元资金，K-12计算机科学教育覆盖范围扩大。

标题：李飞飞实验室2025 AI报告：AI推理成本降低至1/280，中美差距缩小 中美AI模型差距正在缩小。由李飞飞联合领导的斯坦福大学HAI研究所发布2025 AI Index报告，追踪2024年全球AI发展，指出AI推理成本降低了280倍，开源模型迎头赶上。报告显示，美国开发了40个AI模型...

2月13日，字节跳动豆包大模型Foundation团队宣布推出UltraMem稀疏模型架构。该架构通过计算与参数分离，解决了推理过程中的访存问题。UltraMem相比传统MoE架构，推理速度提升2至6倍，成本降低最多83%。实验显示，在2000万value的训练规模下，UltraMem展现顶级性能，为大规模模型发展铺平道路。

字节跳动豆包大模型团队提出新稀疏模型架构UltraMem，推理速度提升2-6倍，成本降低最多83%，已获ICLR 2025接收。UltraMem解决了传统MoE和PKM架构的局限，保持了模型效果，适用于多种规模模型。该架构有望推动AI技术在边缘计算和移动设备上的广泛应用，提升智能助手等AI应用的响应速度和用户体验。