标题：天翼云CPU实例部署DeepSeek-R1模型最佳实践

来源：天翼云网站 & 量子位公众号 QbitAI

本文介绍如何在纯CPU环境下部署基于AMX加速的DeepSeek-R1模型，以及在天翼云EMR实例上部署DeepSeek-R1-Distill-Qwen-7B蒸馏模型。大模型因参数规模庞大，通常需要强大计算资源。随着DeepSeek-R1的问世，各行各业对其接入需求激增。

近年来，CPU制程和架构的进步，尤其是英特尔®AMX加速器的推出，显著提升了算力。已有数据表明，CPU完全可以胜任大模型推理。适用场景包括：

• 内存需求超过单块GPU显存。
• 请求量小，GPU利用率低。
• GPU资源紧张，CPU更容易获取。

在天翼云EMR实例上，基于Intel® xFasterTransformer加速库和vllm推理引擎部署模型，镜像内置所需组件，用户只需开通云主机并绑定弹性IP即可体验。性能指标显示，AMX加速下，DeepSeek 7B蒸馏模型推理速度可达9token/s。

基于英特尔®至强®6处理器部署满血版DeepSeek-R1 671B模型，单实例吞吐量可达9.7~10 token/s，双实例模式下提升至14.7 token/s。英特尔®至强®6处理器具备高核心数、内存带宽和AI加速功能，适合大模型推理，且能降低部署成本。

附录中提供了详细的环境配置和部署步骤，包括硬件和软件环境要求，以及性能测试方法。