：DeepSeek开源里程碑达成：3FS高性能并行文件系统成功突破6.6 TiB/s吞吐量，大浪资讯报道

admin82025-02-28 09:08:39

最新动态：DeepSeek开源3FS文件系统，助力数据密集型应用

大浪资讯（2023年2月28日）—— 在开源周的第五天，DeepSeek团队宣布推出3FS（Fire-Flyer File System），这是一款专为最大化现代SSD和RDMA网络带宽潜力而设计的并行文件系统。3FS以其卓越的数据访问性能，为深度学习等数据密集型应用提供了强有力的技术支持。

3FS：性能卓越，应用广泛

3FS不仅具备卓越的性能，还提供了开源地址，方便开发者获取和使用。以下是3FS的一些关键亮点：

开源地址：访问3FS。
Smallpond数据处理框架：Smallpond是基于3FS构建的数据处理框架，它结合了DuckDB和3FS的优势，提供高效的数据处理能力。

3FS性能亮点解析

3FS在性能上表现卓越，以下是其几个显著特点：

集群高吞吐：在180节点集群中，3FS实现了高达6.6 TiB/s的聚合读取吞吐量。
基准测试优异：在25节点集群的GraySort基准测试中，3FS达到了3.66 TiB/min的吞吐量。
单节点高性能：每个客户端节点的KVCache查找峰值吞吐量超过40 GiB/s。
架构先进：3FS采用去中心化架构，并确保了强一致性语义。

3FS应用场景

3FS作为一款高性能的分布式文件系统，专为解决AI训练和推理工作负载中的挑战而设计。它通过利用现代SSD和RDMA网络提供共享存储层，简化了分布式应用程序的开发。以下是3FS的一些应用场景：

高性能：3FS支持数据准备、数据加载、检查点设置和推理缓存等AI工作负载。
强一致性：适用于训练数据预处理、数据集加载、检查点保存/重新加载、嵌入向量搜索以及推理过程中的KVCache查找等关键环节。
广泛应用：在DeepSeek的V3/R1版本中，3FS被广泛应用于训练数据预处理、数据集加载、检查点保存/重新加载、嵌入向量搜索以及推理过程中的KVCache查找等环节。

Smallpond：轻量级数据处理框架

除了3FS，DeepSeek还开源了基于3FS的数据处理框架Smallpond。Smallpond是一款构建于DuckDB和3FS之上的轻量级数据处理框架，具备以下特点：

高性能：Smallpond能够处理PB级数据集，同时操作简便，无需长期运行的服务。