清华团队开源大模型推理引擎“赤兔 Chitu”，实现 DeepSeek 推理成本降低一半、性能翻番

2025-03-14 20:27:06

智慧轨迹

发布在

快讯

阅读：396

3月14日，清华大学高性能计算研究所团队与清程极智联合宣布开源大模型推理引擎‘赤兔 Chitu’。该引擎首次实现在非Hopper架构GPU及国产芯片上原生运行FP8精度模型，使DeepSeek推理成本减半、性能翻倍。它支持NVIDIA多代产品及国产芯片优化，适用于CPU、单GPU到大规模集群部署，具备高稳定性，可满足生产环境需求。测试显示，部署DeepSeek-R1-671B满血版时，A800集群中赤兔引擎比某些国外开源框架节省50% GPU资源，推理速度提升3.15倍。该项目已在GitHub开源。

原文链接

本文链接：https://kx.umi6.com/article/15481.html

转载请注明文章出处

DeepSeek