3月14日，清华大学高性能计算研究所团队与清程极智联合宣布开源大模型推理引擎‘赤兔 Chitu’。该引擎首次实现在非Hopper架构GPU及国产芯片上原生运行FP8精度模型，使DeepSeek推理成本减半、性能翻倍。它支持NVIDIA多代产品及国产芯片优化，适用于CPU、单GPU到大规模集群部署，具备高稳定性，可满足生产环境需求。测试显示，部署DeepSeek-R1-671B满血版时，A800集群中赤兔引擎比某些国外开源框架节省50% GPU资源，推理速度提升3.15倍。该项目已在GitHub开源。

《科创板日报》14日消息，清华大学高性能计算研究所翟季冬教授团队与清程极智联合开源大模型推理引擎‘赤兔Chitu’。该引擎支持非英伟达Hopper架构GPU及国产芯片原生运行FP8精度模型。此次开源版本专注于解决市场急需的问题，即高效无损地将DeepSeek-R1 FP8精度模型部署至存量英伟达GPU。同时，针对多款国产芯片优化的版本也在计划开源中。此成果为AI模型推理提供了新的解决方案，具有重要技术突破和应用价值。