开源周进入第五天,幻方AI发布了备受期待的开源项目3FS,这是他们自研的高速读写文件系统。3FS最早在2022年发布技术概览,全称是萤火超算文件系统(Fire-Flyer File System),因其三个连续的F而简称3FS。
最初,3FS仅限内部使用,依赖特定硬件。如今,开源版本带来了显著改进。3FS专注于AI训练中计算节点的模型批量读取,通过高速计算存储交互加速模型训练。它采用了分解式架构,全栈解耦、协议优化和生态兼容使其成为通用型AI存储基础。
存储与计算分离后,数据流动不再受限于物理位置。3FS使用FFRecord格式管理数据库,将数百万小文件整合成逻辑大文件,并通过索引快速访问。例如,它能在0.29秒内加载ImageNet数据集,比传统方法快得多。
此外,3FS引入了KVCache技术,通过缓存优化大语言模型的推理过程。KVCache能以高达40GiB/s的速度进行读取,存储于SSD硬盘上的数据传输速度接近DRAM的90%,且成本仅为DRAM的十分之一。通过RDMA网络,传输速率可达40GB/s,相当于一秒传输80部高清电影。
3FS不仅提升了性能,还重新定义了AI训练的底层逻辑,实现了存储介质、网络协议和分布式算法的深度协同,使存储系统从被动仓库升级为智能供血系统。
原文链接
本文链接:https://kx.umi6.com/article/14522.html
转载请注明文章出处
相关推荐
换一换
训练AI,然后被裁?
2025-11-27 17:47:25
OpenAI 呼吁美国放宽版权限制,自由使用版权保护材料训练 AI 激发创新力
2025-03-14 07:58:58
Figure向真实世界挤了挤
2025-09-20 19:34:07
47年前的6MHz电脑跑AI!纯汇编语言:3.5分钟达成100%准确率
2026-04-15 18:16:29
苹果发布论文坚称 AI 训练符合道德原则,且尊重出版商权益
2025-07-22 00:23:59
Meta疯狂举动:采集员工鼠标和键盘输入数据 只为训练AI
2026-04-22 15:23:59
散户组团挑战算力霸权,40B 模型 + 20 万亿 token 刷新世界纪录
2025-05-26 12:39:10
加密货币每疯狂一次,人类就离AGI更远一点?
2024-12-02 10:47:58
奇葩应用爆火美国App Store:用户卖隐私换钱 AI训练新生意引争议
2025-09-25 17:10:04
Meta 为使用盗版素材训练 AI 辩护:下载不分享即合法
2025-02-21 22:59:57
Meta Facebook 新增 AI 拼贴照片编辑功能引隐私争议,用户利用平台工具修图即被视为训练素材
2025-10-18 07:29:23
苹果用谷歌TPU训练AI,都怪英伟达太贵?
2024-08-01 11:35:01
DeepSeek第五弹炸裂收官!开源全新并行文件系统,榨干SSD全部带宽
2025-02-28 13:06:58
722 文章
888791 浏览
24小时热文
更多
-
2026-09-06 21:14:00 -
2026-09-06 20:12:34 -
2026-09-06 20:10:47