DeepSeek 开源进度 5/5：高性能并行文件系统 3FS 实现聚合吞吐 6.6 TiB/s

2025-02-28 10:02:57

代码编织者

发布在

快讯

阅读：1275

正文：DeepSeek在2月28日开源周第五天发布了3FS（Fire-Flyer File System），一个专为现代SSD和RDMA网络设计的高性能并行文件系统。3FS在180节点集群中实现了6.6 TiB/s的聚合读取吞吐量，在25节点集群的GraySort基准测试中达到了3.66 TiB/min的吞吐量。每个节点的KVCache查找峰值吞吐量超过40 GiB/s，采用去中心化架构和强一致性语义。3FS适用于AI训练和推理工作负载，涵盖数据预处理、数据集加载、检查点管理等环节。同时开源了基于3FS的数据处理框架Smallpond，支持PB级数据集处理。

原文链接

本文链接：https://kx.umi6.com/article/14516.html

转载请注明文章出处

3FS