DeepSeek开源周第五弹:发布高性能并行文件系统3FS,专为AI数据访问优化
在开源周的第五天,DeepSeek正式推出了Fire-Flyer File System(3FS),这是一款专为人工智能数据访问场景设计的高性能并行文件系统。3FS充分利用现代SSD存储和RDMA网络的完整带宽能力,在分布式集群环境中展现出卓越的性能表现。
据官方数据显示,3FS在180节点集群中实现了6.6 TiB/s的聚合读取吞吐量,在25节点集群的GraySort基准测试中达到3.66 TiB/min的吞吐性能。此外,该系统在单客户端节点的KVCache查找场景中,峰值吞吐量超过40 GiB/s。
3FS采用分离式架构设计,具备强一致性语义,专门针对AI工作流程中的多个关键环节进行优化。该系统支持训练数据预处理、数据集加载、检查点保存与恢复、嵌入向量搜索,以及V3/R1推理场景中的KVCache查找等操作。
与此同时,DeepSeek还推出了基于3FS构建的数据处理框架Smallpond,进一步完善了其AI数据基础设施生态。这一系列开源工具的发布,体现了DeepSeek在提升AI系统整体效率方面的持续投入。