1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

开源周进入第五天,幻方AI发布了备受期待的开源项目3FS,这是他们自研的高速读写文件系统。3FS最早在2022年发布技术概览,全称是萤火超算文件系统(Fire-Flyer File System),因其三个连续的F而简称3FS。

最初,3FS仅限内部使用,依赖特定硬件。如今,开源版本带来了显著改进。3FS专注于AI训练中计算节点的模型批量读取,通过高速计算存储交互加速模型训练。它采用了分解式架构,全栈解耦、协议优化和生态兼容使其成为通用型AI存储基础。

存储与计算分离后,数据流动不再受限于物理位置。3FS使用FFRecord格式管理数据库,将数百万小文件整合成逻辑大文件,并通过索引快速访问。例如,它能在0.29秒内加载ImageNet数据集,比传统方法快得多。

此外,3FS引入了KVCache技术,通过缓存优化大语言模型的推理过程。KVCache能以高达40GiB/s的速度进行读取,存储于SSD硬盘上的数据传输速度接近DRAM的90%,且成本仅为DRAM的十分之一。通过RDMA网络,传输速率可达40GB/s,相当于一秒传输80部高清电影。

3FS不仅提升了性能,还重新定义了AI训练的底层逻辑,实现了存储介质、网络协议和分布式算法的深度协同,使存储系统从被动仓库升级为智能供血系统。

原文链接
本文链接:https://kx.umi6.com/article/14522.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
Figure向真实世界挤了挤
2025-09-20 19:34:07
可保护作品免遭 AI 训练,Adobe 推出 Content Authenticity 应用
2025-04-24 22:48:39
蚂蚁回应AI训练降本:基于不同芯片持续调优,已开源
2025-03-24 16:15:55
每天给白领发 1000 万,他成了硅谷最年轻亿万富翁
2025-11-17 13:24:29
英伟达被曝未经许可抓取 YouTube、Netflix 平台视频用于训练 AI
2024-08-06 14:52:00
消息称蚂蚁集团采用阿里、华为等国产芯片训练 AI:性能匹敌英伟达 H800,成本降低 20%
2025-03-24 15:01:24
微软面临新版权诉讼:未经许可用盗版书训练 AI
2025-06-26 08:57:30
苹果用谷歌TPU训练AI,都怪英伟达太贵?
2024-08-01 11:35:01
AI苦工卷向高学历
2024-07-03 19:25:10
Meta 为使用盗版素材训练 AI 辩护:下载不分享即合法
2025-02-21 22:59:57
硅谷大厂被曝违规“偷”数据:苹果Anthropic用YouTube视频训练AI
2024-07-17 13:34:34
为训练AI不择手段!Meta被曝下载数十TB盗版电子书
2025-02-09 11:43:34
自动截图玩家游戏画面训练AI 微软否认:只是为了识别
2025-10-26 18:22:58
24小时热文
更多
扫一扫体验小程序