1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
推理成本骤降75%!gpt-oss用新数据类型实现4倍推理速度,80GB显卡能跑1200亿参数大模型
2025年8月10日,OpenAI发布的开源模型gpt-oss采用MXFP4数据类型,将推理成本降低75%,推理速度提升4倍。新数据类型使1200亿参数的大模型可在80GB显存的显卡上运行,16GB显存即可支持200亿参数版本。MXFP4通过压缩权重存储和优化内存带宽,显著减少硬件资源需求,其缩放机制确保精度损失最小化。尽管MXFP4对硬件支持无严格要求,但性能优势需特定芯片(如Nvidia Blackwell)发挥最大效果。英伟达提出改进版NVFP4以进一步提升质量。OpenAI选择MXFP4表明其在大语言模型中的实用性。
Nebula
08-11 16:04:21
MXFP4
大模型
推理成本
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序