【金猿产品展】分布式并行文件存储系统云阙——重新定义文件存储效率极限

金猿产品展分布式并行文件存储系统

数据猿 | 2025-12-31 00:02

【数据猿导读】该产品奖项由极道科技投递并参与金猿组委会×数据猿×上海大数据联盟共同推出的《2025中国大数据产业年度创新服务产品——十年标杆产品》榜单/奖项评选。

极道科技产品

该产品奖项由极道科技投递并参与金猿组委会×数据猿×上海大数据联盟共同推出的《2025中国大数据产业年度创新服务产品——十年标杆产品》榜单/奖项评选。

2015年是分布式存储发展的关键转折年，软件定义存储（SDS）成为核心技术方向并抵达成熟高峰，Ceph、Hadoop生态等开源框架趋于稳定，3D NAND商用落地降低了全闪存存储门槛；市场层面，戴尔收购EMC等大额并购案重塑行业格局，初创企业获资本热捧且部分实现IPO，应用场景从互联网行业向金融、零售等多领域渗透，同时免费云存储模式逐步退出，推动行业向商业化付费及私有化部署转型，整体呈现技术成熟与市场整合双向加速的态势。

极道自研的分布式并行文件存储系统云阙解决了海量数据场景下分布式存储中性能、扩展性与数据可靠性难以兼顾的核心矛盾，以此适配高性能计算等复杂场景的存储需求。具体体现在以下方面：

1.破解元数据管理引发的性能瓶颈:分布式存储中过半文件操作都涉及元数据，而传统对称与非对称架构各自存在元数据一致性维护代价高或易成单点瓶颈的问题。云阙通过支持灵活切换两种架构，搭配元数据与数据分离存储在独立闪存介质、同时留存HDD副本的设计，既保障元数据访问低延迟，又解决了不同集群规模下元数据操作的性能短板，还优化了海量小文件的存储性能。

2.突破存储扩容与性能提升的协同难题：传统存储常面临扩容时性能不增反降，或扩容流程复杂的问题。云阙支持在线透明横向扩展，非对称模式下元数据和数据服务单元均可独立扩容，系统性能能随存储单元增加线性提升，轻松拓展至PB甚至EB级容量，完美适配高性能计算行业所面临的海量数据存储需求。

3.化解高并发场景下的服务：面对千台级客户端并发访问的重压力，普通存储易出现响应延迟或服务中断。云阙靠全硬件及物理链路冗余设计，搭配数据冗余编码保护、核心元数据3副本存储、周期性数据校验等机制，既能支撑 1200+台客户端的日活重压力访问，又能确保多磁盘或节点故障时数据不丢失、业务不中断。

4.解决多场景下的存储适配与管理痛点：不同行业场景对存储的读写速度、数据查询、资源管控等需求差异大。云阙通过多粒度智能数据分层、秒级快照、智能配额管理等功能，适配显微镜数据下机、日志处理等不同场景的读写与备份需求，还凭借统一管理平台和数据感知模块，实现数据秒级查询与一站式管控，解决了复杂场景下存储适配性差、管理难的问题。

该产品持续服务了上千个客户，单一客户存储量高达200PB，且有5家采用存储的存储量80PB。主要客户集中在生命科学领域以及各大国家级科研用户

十年重大更新升级

自2015年诞生以来，极道科技分布式文件系统已走过十年技术深耕之路。作为极道“存管算”数据系统理念的核心载体，它从最初解决海量数据存储难题的基础工具，逐步进化为适配高性能计算（HPC）、人工智能（AI）、生命科学等多元场景的智能系统，每一次升级都精准回应着数据密集型行业的核心需求。十年间，从1.0的“大快稳”奠基，到2.0的性能跃迁，再到3.0全面拥抱全闪时代，产品完成了三次关键迭代，构建起坚实的技术壁垒。

极道分布式并行文件系统1.0--奠基之座，真正做到“大快稳”

2015年，极道首款分布式并行文件系统正式发布，确立了“高可靠、高可用”的核心基因，以1.0版本筑牢技术根基。这一阶段的升级重点集中在基础能力夯实，不仅通过全冗余硬件及物理链路设计、数据冗余编码保护与核心元数据3副本策略，从架构层面杜绝数据丢失风险；更创新推出“对称+非对称”双架构设计——小规模集群采用全对称架构简化部署，超大规模场景则通过非对称架构实现元数据与数据服务单元的独立扩展，彻底消除单点瓶颈。为验证“大快稳”的产品特性，该软件在正式商用前完成了30000+小时的实际生产环境测试，这一远超行业常规的测试标准，使其在2018年成功进入国内外顶级基因公司的一级生产系统，承载核心生物数据，开启商业化落地征程。此时的系统已实现PB级存储容量支持，凭借日活1200+台客户端的高并发承载能力，在基因测序等高压场景中站稳脚跟。

极道分布式并行文件系统2.0--性能跃迁，协同技术创新破局

随着数据量呈指数级增长，企业对存储性能的需求愈发迫切，极道分布式并行文件系统2.0在此阶段完成了关键技术突破。通过IO调度策略优化、元数据与数据通路分离等深度优化设计，系统实现性能随节点增加线性增长，单一系统容量可轻松扩展至EB级，彻底破解了存储与扩展的核心矛盾。

这个版本下，极道的融合统一计算系统Achelous以及数据管理MetaView也同步发布，创新提出“协同”正式落地极道“存管算”三位一体的核心理念，形成“存储-管理-计算”全链路协同能力。

在存算协同方面，Achelous以全容器化架构实现跨异构资源调度，可在同一物理集群内统筹AI训练、大数据分析、并行计算等多元任务，通过智能感知存储系统的IO特性与数据分布，动态匹配最优计算资源分配策略，将存储高带宽、低时延的性能优势充分释放；

在存管协同层面，MetaView作为企业级非结构化数据管理引擎，与存储系统核心元数据，实现对海量数据的特征动态索引、秒级发现与智能关联，解决了传统数据管理中“找数难、管数乱”的痛点，实现存储资源的精细化管控与高效利用。

截至此阶段，极道分布式文件系统累计部署量已超150PB，足迹遍布亚洲和美洲，凭借“零数据丢失故障”的硬核记录与协同架构带来的高效能，在同类产品中树立行业标杆。

极道分布式并行文件系统3.0--全面进入全闪时代

在2.0版本性能优势的基础上，极道分布式并行文件系统3.0将全闪存储技术作为核心升级方向，标志着产品全面进入全闪时代。全闪存储技术的初步应用成为性能跃升的重要抓手：针对海量小文件处理这一行业痛点，系统可动态识别文件特征并将其存储于高速SSD介质（非缓存模式），这一全闪化存储策略大幅提升元数据高IOPS表现，将随机读写性能提升数倍，彻底解决了传统机械硬盘存储在小文件场景下的性能衰减问题，为后续全闪产品的规模化落地奠定了坚实技术基础。

十年升级核心：以数据价值为导向的持续创新

十年间，极道的分布式并行文件存储-云阙，升级路径清晰呈现“基础可靠—性能优化（全闪萌芽）—协同智能（全闪成熟）的演进脉络”：从最初的PB级存储到如今的ZB级扩展能力，从单一文件存储到“存管算”协同核心，每一步都围绕“让数据更高效产生价值”的目标。2024年，极道的全闪产品已在科研机构、基因企业等场景稳定运行，既支撑吉因加等企业数万例样本数据处理，又服务于国家级人工智能计算项目，以全闪技术带来的高可靠、低时延特性，成为数据密集型行业的首选存储系统。

应用场景/人群

云阙的应用场景高度聚焦泛高性能计算领域，核心围绕数据密集型科研与生产需求，覆盖多个对存储性能、可靠性和扩展性有严苛要求的行业。在生命科学领域可作为核心存储支撑，可高效承载基因测序产生的PB级原始数据，适配测序仪下机数据的高速写入与后续分析的高并发读取，解决小文件密集型生物数据处理低效的痛点。在科研中，作为存储海量样本数据，支撑科研任务模型训练的数据。

人工智能与机器学习场景下，云阙为模型训练提供稳定的数据集存储服务，适配千万级样本数据的并行读取，保障训练过程不被存储性能拖慢。

核心人群以科研与生产端的专业工程师为主，包括各类科研机构的实验人员与数据工程师，他们依赖于云阙保障科研数据的安全与分析效率；高校重点实验室的师生，借助其解决科研项目中的大规模数据存储与共享问题；高端制造企业医疗仪器厂商的技术团队，用其支撑生产环节的数据分析与产品研发数据管理。

产品功能

云阙聚焦泛高性能计算场景，以“高性能、高可靠、易扩展”为核心，提供具象化的分布式存储功能，精准匹配科研与生产级存储需求。

智能数据分层：多粒度的数据分层策略，既可以自动透明的在不同介质之间交换数据以提高读和同步写性能，也可以按照预定义的策略将温冷数据下沉到低成本的存储系统中，按需调回，实现高性能文件存储和对象存储的整合。

透明横向扩展：支持在线透明的通过增加存储单元，横向扩展存储的容量和性能。在非对称结构模式下，元数据服务单元和数据服务单元都可以透明横向扩展，整体系统无单点瓶颈。单一系统的整体性能会随着存储单元的增加而不断线性提升。

高效数据管理功能：支持秒级文件系统快照和克隆，且快照个数无上限。支持基于策略的排程快照，最大限度的保护数据安全性。智能的配额管理，允许管理员根据策略定义低水位线和高水位线，有效管理数据空间的使用率。

产品优势

极道的分布式并行文件存储系统云阙凭借适配多场景的架构设计与针对性功能优化，在性能、扩展性、可靠性等核心维度均具备显著优势，同时还拥有便捷管理与国产化适配等特色亮点，具体如下：

性能强劲且适配多元场景：极道采用多种方式按照应用对数据的存取模式，有效的对存储性能进行优化，包括磁盘上数据的布局，元数据的布局，内外网隔离，元数据和数据通路的分离，IO调度策略，QoS策略等。创新的实现了灵活的架构，既可以支持对称架构（无分离的元数据服务角色），也可以支持非对称架构（有可扩展的元数据服务角色），在集群规模小的时候采用全对称架构，大规模集群可以采用非对称结构。这种创新的方式，使得系统的扩展性在无损性能的前提下大幅提升。除此之外，对于小文件的优化也是重要特点之一，动态识别小文件，并将其存放于高速SSD介质【非缓存】中，从而大幅提升海量小文件下的性能表现。

高并发能力适配重负载场景：作为面向高性能计算场景的存储系统，它在生产环境中可支持1200+台客户端的日活重压力访问，标准配置的单个控制器就能承受百台以上客户端的并发访问压力，高并发性能超同类产品2倍以上，即便面对大负载极端运行场景也能稳定应对。

透明横向扩展无性能损耗：支持在线通过增加存储单元实现横向扩展，非对称模式下元数据与数据服务单元可独立扩容，无单点瓶颈。系统能轻松扩展至上百节点，达到PB甚至EB级容量，且整体性能会随存储单元增加线性提升，完美适配海量数据存储的扩容需求。

数据与服务具备高可靠保障：对数据采用冗余编码保护，多磁盘故障下数据不丢失；核心元数据采用3副本，确保绝对可靠；所有数据块均有校验码，自定义周期性扫描和校验数据，确保及时发现故障，防止数据的静默失效；所有硬件及物理链路全冗余设计，故障自动发现，自动修复，确保数据服务高可用。几遍出现50%节点故障仍能保证业务不中断、数据不丢失。

管理便捷且贴合使用要求：极道并行文件存储系统提供的内嵌空间管理应用，可以帮助管理员无需等待，轻松的知道任何一个目录的（递归子目录）的大小，文件个数，瞬间返回统计结果。配合极道的数据管理系统，系统管理员可以马上知道整体存储空间中的文件按照大小、类型，访问频次和修改时间等各种维度的分布状况。同时具备高优先级客户端的功能，无论从IO调度以及处理优先级上都会高于一般的计算节点，即便在大量计算节点并发访问存储系统，存储后端异常繁忙的情况下，也不会影响来自登陆节点/管理节点的IO响应速度，保证了用户的交互性体验。

全面适配国产化：作为首款与飞腾腾云S2500处理器完成适配的分布式并行文件存储系统，填补了全国产化智算系统的相关空白外，还与国内主流的处理器完成了适配。

服务客户/使用人数

产品总使用客户量或人群数量：数百家高性能计算用户，总存储量达到400PB，部署的节点数量3500个节点；单一客户存储量高达200PB，且有5家采用存储的存储量80PB。主要客户集中在生命科学领域以及各大国家级科研用户

市场价值

极道的分布式并行文件存储系统云阙体现在为多行业核心场景破解存储痛点、创造降本增效价值，也体现在打破国外技术垄断、推动行业技术升级等层面，具体如下：

适配多行业核心场景，筑牢业务数据支撑根基：在生命科学领域，它早在 2018年就进入国内外顶级基因公司的一级生产系统，3年内部署量超 150PB，完美承载基因测序等产生的海量生物数据；在人工智能、地理空间、能源等泛高性能计算场景中，其1200+台日活客户端的高并发支持能力，能轻松应对智算集群的巨大并发和带宽压力。而在媒体视效领域，它的高性能读写与灵活扩展能力，也能满足视频制作中大量素材的高速存取需求，成为各行业核心业务稳定运行的关键支撑。

降低企业综合成本，实现存储与计算协同增效：一方面，其支持在线透明横向扩展，性能随存储单元增加线性提升，无需更换整体架构就能适配PB到EB级的容量增长，减少了企业因存储升级带来的重复投入；另一方面，搭配极道 “存管算”协同方案，云阙作为一级存储承接高并发压力，搭配统一存储ANNA承担二级存储、归档存储等角色，相比传统通用硬件与开源软件拼凑的方案，大幅提升智算集群整体效能。同时其智能数据分层可将温冷数据下沉至低成本存储，进一步降低企业存储运维的综合成本。

打破国外技术垄断，填补国产化适配相关空白：它可作为GPFS和Lustre等国外主流并行文件存储系统的替代选择，适配大规模并行计算场景，改变了部分高端存储领域依赖国外产品的局面。且它还是首款与飞腾腾云S2500处理器完成适配的分布式文件存储系统，填补了全国产化智算系统的相关空白，为国内智算产业自主可控提供了可靠的存储解决方案，助力国产化算力基础设施建设。

引领行业技术方向，推动分布式存储标准升级：其创新的对称与非对称架构灵活切换设计、元数据与数据分离存储、小文件SSD专属存储等方案，解决了分布式存储中规模与性能、小文件处理等行业共性难题。同时，其70+月在线零数据丢失的成绩，以及30000+小时生产环境测试的严苛标准，为分布式存储行业树立了高可靠、高稳定的标杆。