DeepSeek开源周完美收官！发布全新并行文件系统3FS，榨干SSD全部带宽。

DeepSeek开源周今日正式结束，内容令人惊喜。此次发布了V3和R1训练推理过程中使用的文件系统，包括Fire-Flyer文件系统（简称3FS）和Smallpond数据处理框架。3FS能充分利用现代SSD和RDMA网络的带宽，表现出惊人速度：180节点集群中读取吞吐量达6.6TiB/s；25节点集群中GraySort基准测试吞吐量为3.66TiB/分钟；每个客户端节点的KVCache查找峰值吞吐量超过40GiB/s。

3FS是一种高性能分布式文件系统，利用现代SSD和RDMA网络提供共享存储层，简化分布式应用开发。其特点包括分布式架构、强一致性实现带、文件接口等。3FS适用于多种AI应用负载，如数据准备、数据加载器、Checkpoints及KV缓存。

测试显示，在180个存储节点组成的集群上，读取吞吐量达到约6.6TiB/s。此外，Smallpond框架在GraySort基准测试中对110.5TiB数据进行排序，耗时30分14秒，平均吞吐量为3.66TiB/分钟。

回顾DeepSeek开源周内容，均与AI基础设施相关。此次发布的3FS和Smallpond，显著提升数据处理效率。未来DeepSeek的动作仍值得关注。欢迎扫码加入群聊，关注更多DeepSeek动态！

项目地址：https://github.com/deepseek-ai/3FS