推理成本骤降75%！gpt-oss用新数据类型实现4倍推理速度，80GB显卡能跑1200亿参数大模型

2025-08-11 16:04:21

Nebula

发布在

快讯

阅读：1303

2025年8月10日，OpenAI发布的开源模型gpt-oss采用MXFP4数据类型，将推理成本降低75%，推理速度提升4倍。新数据类型使1200亿参数的大模型可在80GB显存的显卡上运行，16GB显存即可支持200亿参数版本。MXFP4通过压缩权重存储和优化内存带宽，显著减少硬件资源需求，其缩放机制确保精度损失最小化。尽管MXFP4对硬件支持无严格要求，但性能优势需特定芯片（如Nvidia Blackwell）发挥最大效果。英伟达提出改进版NVFP4以进一步提升质量。OpenAI选择MXFP4表明其在大语言模型中的实用性。

原文链接

本文链接：https://kx.umi6.com/article/23368.html

转载请注明文章出处

MXFP4