标题：老显卡福音！美团开源首发INT8无损满血版DeepSeek R1

美团搜推机器学习团队最新开源的DeepSeek R1模型，实现了基本无损的INT8精度量化。原生模型权重为FP8格式，仅能被英伟达新GPU支持，如今通过INT8量化，使得A100等老型号GPU也能部署。

INT8量化不仅保持了高吞吐性能，而且被广泛硬件支持。分块量化（Block-wise Quantization）和通道量化（Channel-wise Quantization）是降低量化损失的关键技术。在GSM8K和MMLU数据集上的测试表明，两种INT8量化模型的精度基本无损。

在A100 GPU上，分块量化的INT8推理吞吐比BF16提升33%，通道量化的INT8推理吞吐则提升50%。量化模型已开源至Hugging Face社区，方便用户使用。

开发者可通过SGLang框架部署这两种INT8量化模型。例如，在双节点各8张A100 GPU上，执行相应命令即可启动服务。此外，INT8 R1展示了良好的深度思考能力和运行效果，与FP8相比毫不逊色。