正文:DeepSeek在2月28日开源周第五天发布了3FS(Fire-Flyer File System),一个专为现代SSD和RDMA网络设计的高性能并行文件系统。3FS在180节点集群中实现了6.6 TiB/s的聚合读取吞吐量,在25节点集群的GraySort基准测试中达到了3.66 TiB/min的吞吐量。每个节点的KVCache查找峰值吞吐量超过40 GiB/s,采用去中心化架构和强一致性语义。3FS适用于AI训练和推理工作负载,涵盖数据预处理、数据集加载、检查点管理等环节。同时开源了基于3FS的数据处理框架Smallpond,支持PB级数据集处理。
原文链接
本文链接:https://kx.umi6.com/article/14516.html
转载请注明文章出处
相关推荐
.png)
换一换
DeepSeek第五弹炸裂收官!开源全新并行文件系统,榨干SSD全部带宽
2025-02-28 13:06:58
DeepSeek开源周最后一天,重塑AI训练底层逻辑
2025-02-28 12:07:38
DeepSeek 开源进度 5/5:高性能并行文件系统 3FS 实现聚合吞吐 6.6 TiB/s
2025-02-28 10:02:57
414 文章
67005 浏览
24小时热文
更多

-
2025-07-20 15:10:23
-
2025-07-20 15:09:31
-
2025-07-20 15:09:13