分布式存储发展趋势及技术瓶颈分析

合集下载

分布式存储技术的发展趋势

分布式存储技术的发展趋势

分布式存储技术的发展趋势一、引言现代社会,信息技术高速发展,存储系统的需求也越来越大,因此分布式存储技术应运而生。

随着技术的不断革新,分布式存储技术也在不断进化完善。

本文将从以下几个方面分析分布式存储技术的发展趋势。

二、分布式存储技术的定义分布式存储技术是将数据划分为多份,存放在多台计算机或存储设备上,并将这些计算机或存储设备连接到一个网络或集群中,统一管理和访问数据的技术。

三、分布式存储技术的发展现状随着网站、移动设备等信息应用的快速发展,数据量急剧增长。

为满足这样的需求,传统的存储技术已经无法胜任。

而分布式存储技术,因其高效可靠、可扩展性、容错性强等特点,已成为了信息存储的首选技术。

目前,分布式存储技术已被广泛应用于互联网、金融、电信、物联网等领域,如Hadoop、Ceph、GlusterFS等已成为了业界较为流行的开源分布式存储系统。

四、分布式存储技术的发展趋势1.云化趋势随着云计算的普及,越来越多的企业开始转向云计算。

这也促使分布式存储技术向云化方向发展。

云存储将使数据的存储和备份变得更加简单,也将为用户提供更灵活、更高效的服务。

2.多副本备份技术数据在存储过程中,难免会遇到磁盘损坏、网络故障等问题。

多副本备份技术可以使数据存储在多个节点上,一旦其中一台节点出现故障,可以自动切换到其它节点上,这种方式可以有效提高数据的可用性。

3.分布式存储和计算的深度结合分布式存储和计算的深度结合可以在分布式存储的同时,实现高效的分布式计算。

这种模式可以实现资源的有效共享,降低企业的IT成本,并且可以提高数据的应用价值。

4.智能化管理随着分布式存储规模的不断扩大,对管理的要求也越来越高。

智能化管理系统可以帮助管理员更加高效地管理存储系统。

例如,IBM的Tivoli等可以实现存储空间统计、性能监控、故障管理等一系列管理功能。

五、结论通过对分布式存储技术的现状和发展趋势的分析,我们可以得出以下结论:分布式存储技术已成为大数据时代的重要技术之一,其发展趋势是云化、多副本备份技术、分布式存储和计算的深度结合以及智能化管理。

分布式储能技术的现状及发展趋势分析

分布式储能技术的现状及发展趋势分析

分布式储能技术的现状及发展趋势分析摘要:随着化石资源的日渐匮乏以及生态环境的持续恶化,分布式电源得到迅猛发展。

大规模新能源并网,新能源发电的间歇性、随机性等特性将对电力系统的电能品质、电力系统的运行稳定性产生重大影响。

将分布式储能装置引入到电力系统中是一种很好的解决方案。

采用蓄能装置,既降低了分散能源对电力系统的影响,又实现了消峰填谷,达到调节电能的目的。

当前,在加快智能化新型能源体系和新型电力系统的引领下,分布式储能技术也会有很好的发展前景。

关键词:分布式;储能技术;现状;发展趋势0 引言面对世界范围内对能源的巨大需求,世界上许多国家都在积极开发新的能源科技,以解决当前严峻的能源与环境问题。

因此,作为一项新兴的能量科技,分布式能量储能系统愈发受到人们重视。

1分布式储能技术的发展情况及优势分析1.1分布式储能技术的背景分布分布式能源储能从上个世纪末期开始出现,那时技术水平还不高,而且能量储能装置的价格也比较昂贵,所以只能用于小型、独立、后备供电。

然而,随着全球气候变化和能源危机的日益严重,使得分布式能源储能系统的使用领域越来越广泛,并且其价格也越来越便宜。

当前,以太阳能、风能等新能源为代表的新能源开发利用,已得到越来越多的采用。

然而受当地气候、地域等诸多因素的制约,其发电过程中存在着“间歇性”的问题。

而分布式储能则通过蓄能方式,在必要时将电能释放出来,以补偿新能源出力的波动性,实现电能的平稳输出,而分布式储能系统是实现智慧电力系统的关键。

该系统能够储存电能,与智能电力系统协同供电,构成“能源服务”、“本地紧急备用”的功能,有助于我国能源结构转型升级,促进我国智慧电力系统建设。

另外,在电力系统构建中,也引入了分布式储能技术。

在电力市场环境下,分布式储能能够充分发掘负荷端潜能,提升负荷柔性,调控供求关系,构建柔性供给与柔性需求的内在市场,提升其竞争能力与效率。

1.2分布式储能技术的优势(1)电能利用率高。

分布式存储市场情况与发展趋势分析报告

分布式存储市场情况与发展趋势分析报告
图3:未来存储方式将以分布式存储为主
场景:海量数据、高性能存储应用
任何产生大量、小文件、非结构数据的场景都是潜在用户,如云数据中心等。 以中国雪亮工程为例,视频监控总量巨大,多路摄像头同时持续写入,存储系统吞吐量限制监控规模, 高拓展、高性能分布式存储产品可以解决传统视频监控存储的缺陷。
图4:按行业划分,分布式存储使用场景
图13:OneFS提供智能管理
图14:简化管理
资料来源:DELL EMC、天风证券研究所
资料来源:DELL EMC、天风证券研究所
当然节约成本是吸引用户的极大诱惑
存储效率的提升(60%至85%):与传统存储相比,这种成本优化三年内节省了超过1800万美元。 通过提高生产力和提高效率,Isilon帮助客户降低运营费用48%,降低资本支出41%。
图1:中国非数据结构增速快
非结构数据(ZB) 其他(ZB) 60 50 40 30 20 10
0 2018 2019E 2020E 2021E 2022E 2023E 2024E 2025E
资料来源:IDC、天风证券研究所
图2:传统存储不能应对海量非结构数据
性 能
容量
资料来源:天风证券研究所
未来网络保险箱:分布式存储才是最佳选择!
图8:软件定义存储市场增长快
非结构数据(ZB) 25.0
软件定义存储市场(亿美元)
20.0
15.0
10.0
5.0
0.0 2018 2019E
资料来源:ID C 、天风证券研究所
2020E
2021E
2022E
2023E
2
他山之石:戴尔E M C 如何一览众山小
市场占有率与竞争力双冠军
公司软件定义存储市场,市场占有率、性能、可靠性多项位居第一。Gartner分布式文件与对象存储象限,DELL EMC 凭借分布式文件系统Isilon和弹性云存储ECS2019年占据领导者象限TOP1位置。 双冠军的背后是安全、管理的极致!

分布式存储技术的发展与现状

分布式存储技术的发展与现状

分布式存储技术的发展与现状近年来,随着互联网技术的不断发展和普及,数据量的爆发式增长已经成为了一个普遍存在的现象。

为了追求更高的数据处理速度和更强的数据安全保障,分布式存储技术已经成为了许多企业和组织所重点研究和应用的方向之一。

分布式存储技术是什么?它的发展又处于怎样的现状呢?接下来,笔者将着重探讨这一问题。

一、分布式存储技术的定义所谓分布式存储技术,是指在不同的机器或服务器节点上,将数据分割成多块,并分别存储到不同的节点上,有效提高数据存储、处理、管理、备份等能力,降低了系统单点故障的风险,同时也降低了企业运营成本。

分布式存储技术的应用和发展非常广泛,例如,在金融、互联网、电商、医疗等行业都使用了分布式存储技术。

二、分布式存储技术的发展历程历史上,分布式存储技术发展非常的迅速。

在网络技术初期,分布式存储是为了避免中央服务器成为系统瓶颈而诞生的。

在那个时代,分布式系统主要由维基百科系统、BitTorrent系统和P2P网络构成。

在当时,这些系统是被用来分享大文件,比如电影、音乐和软件等的。

由于这些系统的非中心化结构,它们搬运文件的速度较快。

因此,P2P网络也有许多仿效的增长,形成了许多P2P网络。

然后,由于硬件技术的迅速发展,以及分布式存储技术与云计算等领域的深度融合,分布式存储的范围日趋广泛。

从最初的P2P网络,发展到了拥有大量节点的分布式文件系统、分布式数据库、分布式计算、分布式管理软件和分布式安全系统等等。

三、近期分布式存储技术的现状(一)监管环境日趋严格目前,全球数据治理体系的建设正在日益完善,国际互联网多边治理机制也逐步得到推进,而国内对网络安全的监管也日益严格。

所以,分布式存储系统的合法性和法律性质就显得格外重要。

对于一些不合规的行为,监管部门也会出手,处罚惩罚行为,以维护网络行业的健康发展。

(二)安全问题不容忽视由于分布式存储技术需要多个节点才能完成数据存储的过程,因此,这样的分布式存储技术本身就具有更加复杂的安全风险。

2023年分布式存储行业市场前景分析

2023年分布式存储行业市场前景分析

2023年分布式存储行业市场前景分析随着云计算、大数据、人工智能等技术的飞速发展,分布式存储已成为一个热门的行业。

分布式存储是指将数据分布存储在多个节点上,以提高存储的可靠性、可扩展性和可用性。

本文将对分布式存储行业的市场前景进行分析。

一、市场规模根据市场研究公司的调查数据显示,分布式存储市场规模正在不断扩大。

全球分布式存储市场规模从2016年的26.59亿美元增长到2020年的60.42亿美元。

预计到2026年,全球市场规模将达到129.39亿美元,年复合增长率为13.4%。

中国分布式存储市场也在快速发展,市场规模从2018年的60亿元增长到2020年的115亿元。

二、市场驱动因素1. 大数据、云计算、人工智能等新兴技术的发展,为分布式存储提供了广阔的应用场景。

这些应用需要处理大量数据并保证数据存储的可靠性、可扩展性和可用性。

2. 数据隐私和安全意识的提高,促使企业将数据存储在本地,而分布式存储可以通过数据冗余备份等方式,提高数据的安全性和可靠性。

3. 数字化转型的加速,让企业对数据的需求越来越高。

分布式存储可以提供更好的数据存储和管理解决方案,满足企业数字化转型的需求。

4. 随着IoT技术的不断发展,无数设备间的数据交互和存储需求不断增加,分布式存储在IoT数据存储方面的应用前景巨大。

三、市场前景1. 技术日益成熟。

随着分布式存储技术的不断成熟,其可靠性、安全性、扩展性、可用性等方面的问题被逐渐解决,未来随着技术的进一步发展和优化,其性能和功能还将进一步提高。

2. 应用场景逐步拓展。

目前,分布式存储主要应用于大数据、云计算、人工智能、医疗健康、金融保险等领域,未来随着物联网、智能制造、智慧城市、智慧农业等行业的发展,分布式存储将进一步拓展应用场景。

3. 市场竞争格局优化。

目前,国内分布式存储市场竞争激烈,主要厂商包括华为、海康威视、深信服、浪潮集团等。

未来,市场格局将朝着集中化的趋势发展,大厂商将会加强整合资源,形成品牌效应,同时行业里将会有一些小巧型厂商,一些企业、团队在专业领域内发挥出色,补充整个生态的应用和服务供应。

分布式存储技术的研究与探讨

分布式存储技术的研究与探讨

分布式存储技术的研究与探讨随着计算机技术不断发展,越来越多的数据被产生和存储在各种不同的设备中,这些设备的存储容量和可靠性都难以满足用户不断增长的需求。

为了解决这个问题,人们开始关注分布式存储技术。

本文将对分布式存储技术的研究和探索进行深入的探讨。

一、分布式存储技术的简介分布式存储技术是指将数据分布到多个存储设备中,以实现更高的吞吐量、更好的可扩展性和更高的效率。

它广泛应用于云计算、大数据和网络存储等领域。

分布式存储系统通常由多个节点组成,每个节点都有自己的存储空间和处理能力。

这些节点可以维护一个存储网络,并通过网络通信来对数据进行读写和管理。

由于数据分布在多个节点中,分布式存储系统具有更高的容错性和可靠性,即使某个节点发生故障,整个系统仍然可以继续工作。

二、分布式存储技术的核心问题分布式存储技术的发展面临着许多核心问题,其中最重要的问题是数据一致性。

由于数据存储在多个节点中,当一个节点更新数据时,需要确保其他节点也能够及时看到最新的数据。

在这个过程中,可能会出现数据冲突或者数据丢失的问题。

为了解决这个问题,分布式存储系统需要采取一些措施来提高数据一致性,比如使用分布式锁或者使用主从复制机制。

此外,分布式存储系统还需要解决数据安全和隐私保护的问题。

数据泄露和恶意攻击是常见的威胁,因此需要采取一些安全措施来保护数据的安全和隐私,比如使用加密技术和访问控制机制。

三、分布式存储技术的应用分布式存储技术广泛应用于云计算、大数据和网络存储等领域。

在云计算领域,分布式存储系统可以为云平台提供强大的数据存储和处理能力。

云存储服务商可以使用分布式存储技术将用户数据分布到多个数据中心中,提高数据可靠性和可用性,同时也能够提高数据访问速度。

在大数据领域,分布式存储技术可以帮助实现海量数据的存储和分析。

例如,MapReduce和Hadoop是基于分布式存储技术的大数据处理框架,它们可以将数据分布到多个节点上进行并行处理,大大提高了处理效率。

分布式存储技术的基本原理和发展趋势

分布式存储技术的基本原理和发展趋势

分布式存储技术的基本原理和发展趋势近年来,随着互联网的快速发展,大量的数据和信息被不同角度,不同维度的应用程序所使用,因此数据存储成为了信息领域的瓶颈。

传统的中央式存储方式面临着数据带宽瓶颈、存储容量瓶颈、性能瓶颈等问题,分布式存储技术应运而生。

本文将介绍分布式存储技术的基本原理和发展趋势。

一、分布式存储技术的基本原理分布式存储技术是一种将数据存储在多个独立的节点上,通过网络协议互相连接和通信,以实现数据共享和协作处理的技术。

它的主要原理可以分为以下三个方面:1. 数据的切分和重复存储分布式存储的核心思想是将数据切分成多份并保存在不同节点上,每个节点都负责存储一部分数据。

这样做不仅可以解决传统存储技术的存储容量瓶颈,也可以在某个节点发生故障时,使用其它节点的备份恢复数据。

2. 负载均衡和数据访问数据存储在不同的节点上,因此如何保证数据的访问效率和负载均衡是分布式存储技术面临的重要问题。

为解决这一问题,分布式存储通常采用一些特殊的算法和协议,比如一致性哈希算法、Paxos算法等。

3. 数据安全和一致性数据安全和一致性是分布式存储不可或缺的两个方面,保障数据的正确性和可靠性。

分布式存储解决这一问题的方法主要有:多副本备份、数据同步和数据恢复等。

其中,多副本备份可以避免单点故障和数据损失,数据同步则可以保障多个节点之间的一致性。

二、分布式存储技术的发展趋势随着互联网时代的到来,分布式存储技术正在不断发展壮大。

下面将从以下几个方面介绍其发展趋势:1. 分布式计算与存储协同发展随着大数据时代的到来,分布式计算技术和分布式存储技术的融合将会越来越紧密。

分布式计算可以通过大规模并行处理,完成复杂的数据分析和运算,而分布式存储则可以提供海量的数据存储和数据管理。

两者的结合将极大地促进信息技术的各个领域的发展。

2. 云计算和边缘计算的发展分布式存储技术在云计算和边缘计算中的应用广泛。

云计算作为当下的主流计算模式之一,所需的大数据存储和高性能计算都离不开分布式存储技术的支持。

云计算中的分布式数据存储技术

云计算中的分布式数据存储技术

云计算中的分布式数据存储技术随着云计算的快速发展,分布式数据存储技术变得越来越关键。

分布式数据存储技术(Distributed Data Storage Technology),是指将数据分散存储在多台服务器上,利用网络将这些服务器连接起来,形成一个虚拟的存储系统,为用户提供高效的数据存取服务。

在云计算中,分布式数据存储技术被广泛使用,本文将探讨云计算中的分布式数据存储技术发展趋势以及应用场景。

一、分布式数据存储技术的发展趋势1. 分布式存储系统的架构逐渐向着分层化的模式发展。

随着技术的发展和应用的深入,分布式存储系统的架构越来越复杂。

在这种情况下,采用分层化的模式能够有利于系统的管理和维护,提高整个系统的运行效率。

2. 分布式存储技术的数据一致性保障越来越重要。

在分布式存储系统中,由于数据的存储和访问不在同一个节点上,因此数据的一致性需要得到保证。

为此,主流的分布式存储技术如HDFS、Ceph、GlusterFS等都提供了一系列数据一致性保障机制,如副本备份、数据冗余等。

3. 分布式存储技术的容错性和可靠性得到了极大提升。

由于分布式存储系统中数据的存储和处理不再集中于一台服务器,因此容错性和可靠性得到了大幅提高。

现在主流的分布式存储技术都提供了多点备份、数据冗余等多种容错和可靠保障机制。

二、分布式数据存储技术的应用场景1. 云存储分布式存储技术是实现云存储的核心技术。

通过将数据分散存储在多台服务器上,可以保证数据的可靠性和安全性,并且能够实现数据的在线备份和跨地域复制等功能。

云存储可以为企业提供高效、方便、安全的数据存储和管理服务,大大降低企业的IT成本。

2. 大数据在大数据场景中,分布式存储技术的优势尤为明显。

分布式存储技术能够实现数据的并行存储和并行处理,大大提高数据的处理效率和存取速度。

此外,分布式存储技术还支持数据分片和负载均衡等功能,可以有效地应对数据量大、访问频繁等问题。

3. CDN加速分布式存储技术可以实现CDN(Content Delivery Network)加速。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

内容目录1核心观点 (3)1.1核心推荐逻辑 (3)1.2我们区别于市场的观点 (3)2分布式存储将成为下一代互联网基础设施 (3)2.1以IPFS 协议为代表的分布式存储带来新思路 (3)2.2分布式存储将带来互联网基础架构变革 (7)3分布式存储开辟互联网基础设施产业新格局 (9)3.1分布式存储开发新的存储市场 (9)3.2分布式存储已和传统存储不断融合应用 (10)4分布式存储面临的技术瓶颈与发展机遇 (12)4.1数据价值分层是分布式存储经济激励的关键 (12)4.2I/O 性能瓶颈需要底层和应用层联合优化解决 (13)4.3服务质量保障 (15)4.4在应用、运营层面中心化组织与分布式存储将进一步融合 (15)图表目录图表1:IPFS 协议的分布式系统 (4)图表2:IPFS 协议构架 (4)图表3:集中化的版本控制系统 (5)图表4:分布式版本控制系统 (5)图表5:Merkle DAG 数据结构及功能特点 (6)图表6:DHT 网络工作原理 (6)图表7:全球数据圈每年规模 (7)图表8:IPFS 协议关注的基础问题 (7)图表9:IPFS 与HTTP 协议的对比 (8)图表10:IPFS 与HTTP 寻址方式对比 (8)图表11:全球数据量增长状况 (9)图表12:中国云存储市场规模及增速 (9)图表13:中国公有云市场规模及增速 (9)图表14:个人云盘行业用户渗透率及MAU (10)图表15:储迅部分合作伙伴 (11)图表16:高性能分布式文件系统 (11)图表17:CRUST 技术架构:工作量证明层MPoW、区块链共识层GPoW 及分布式云存储/计算层 (12)图表18:CRUST 部分合作伙伴 (12)图表19:数据价值分层是分布式存储经济激励的关键 (13)图表20:IPFS 与HTTP 性能对比:远程读取操作的平均延迟 (14)图表21:IPFS 与HTTP 性能对比:远程读取操作的延迟范围 (14)图表22:IPFS 与HTTP 性能对比:远程读取操作的吞吐量 (14)图表23:分布式存储面临的技术瓶颈与发展机遇 (15)1核心观点1.1核心推荐逻辑基于分布式存储,将开辟新的存储应用市场。

分布式存储采用不同于传统中心化存储的资源和市场激励方式,不仅仅是充分利用分布式节点资源,而是为个人节点贡献的内容投入市场交换创造了基础,从而深度挖掘数据内容价值、开辟全新的应用市场,这在传统的互联网公司控制中心云平台数据的情况下是无法实现的。

同时,分布式存储与中心化存储将不断融合,改变现有的互联网构架和商业模式。

1.2我们区别于市场的观点市场低估了分布式存储为互联网基础构架和商业模式带来的变革与创新空间。

市场通常将分布式存储视为一种新的技术,而忽略了分布式存储带来的个人存储资源、用户内容贡献价值挖掘和市场交换的潜力。

在分布式文件系统的互联网上,个人存储资源可以投入到市场进行资源交换,为用户贡献的内容在数据确权、安全的基础上进行内容价值提供市场交换的平台。

因此,分布式文件系统将会催生更多的全新的互联网应用,而非传统互联网的技术迭代。

2分布式存储将成为下一代互联网基础设施目前,互联网将海量计算机(智能移动)终端连接在一起,使得用户能够访问存储其他计算机终端上的海量数据。

数据的传输与访问,是基于HTTP(超文本传输协议)为代表的互联网协议实现的,数据是以计算机(服务器)终端IP(或者说域名)为地址进行中心化存储的,具体存储数据的服务器节点就像一个集中式的仓库,要承担巨大流量访问、数据传输压力。

能否将数据文件分散存在网络不同服务器节点上,革新互联网基础构架?类似IPFS 这种分布式存储协议逐渐兴起,作为HTTP 的补充,打造面向全球、点对点的分布式版本文件系统,能将所有具有相同文件系统的计算设备连接在一起。

就IPFS 而言,用户寻找的是存储在某地方的内容(这些内容分散在不同的服务器节点),而不是某地址,就只需确认验证内容的哈希,这样就能过获得速度更快、安全、健壮、持久的网页。

我们将探讨分布式存储将如何带来互联网基础构架的变革,将创造怎样的新的应用场景和市场。

2.1以IPFS 协议为代表的分布式存储带来新思路IPFS 协议是一个将多种成功的分布式系统思路与区块链相结合的文件存储和内容分发网络协议,为用户提供统一的可寻址数据存储。

IPFS(Inter-Planetary File System)由Protocol Lab 提出,字面意义是星际文件系统。

其本质是一个P2P 的分布式存储系统,将所有具有相同文件系统的计算设备连接在一起,目标是补充甚至替代超文本传输协议HTTP。

与现有Web 协议不同的是,对于一个存放在IPFS 网络的文件资源,不是用基于域名的地址去访问,而是通过基于文件内容生成的唯一编码去访问,不需要验证发送者的身份,只需要验证内容的哈希,可以让网页的速度更快、更安全。

IPFS 的网络上运行着一条区块链,即用来存储互联网文件的哈希值表,每次有网络访问,即要在链上查询该内容(文件)的地址。

IPFS 协议最大的特色是系统的耦合及设计的综合性,其整合的分布式技术包括BitTorrent 协议、版本控制系统Git、MerkelDAG、分布式哈希表DHT 和自认证文件系统SFS。

因此在IPFS 系统中,人人都可以作为存储文件的服务器。

图表1:IPFS 协议的分布式系统IPFS 协议借鉴了BitTorrent 协议诸多优点,并进行了创新,打造持久且分布式存储和共享文件的网络传输协议。

BitTorrent(简称BT)是一种广泛应用的内容分发协议,特点是充分利用用户的上载带宽,使得下载用户越多,下载速度越快。

在中心化存储的FTP、HTTP 协议中,每个用户下载所需文件,各个用户之间没有交互。

如HTTP,每次当同时访问和下载文件的用户过多时,由于服务器处理能力和带宽的限制,下载速度会急剧下降,部分用户甚至会无法访问服务器。

而BT 协议下,分配器或文件持有者将文件发送给一名用户,再由这名用户转发给其它用户,用户之间相互转发自己所拥有的文件部分,直到每个用户的下载全部完成。

这种方法可以使下载服务器同时处理多个大体积文件的下载请求,而无须占用大量带宽,因此常用于大型文档和自由软件的发布以降低服务器负担。

IPFS 团队对BitTorrent 进行了创新,增加了信用和帐单体系来激励每个节点分享数据,称为BitSwap 协议。

用户在BitSwap 里分享数据会增加信用分,从其他节点接受数据则会降低信用分。

如果用户只去检索数据而不分享数据,信用分就会越来越低,而被其它节点忽略。

图表2:IPFS 协议构架类似于于互联网的七层协议模型,IPFS 构架分为八层子协议栈。

IPFS 作为分布式存储协议,核心功能包括:文件内容多人协调和版本可回溯、不可篡改,DHT 管理带来的离散性、伸缩性和良好的容错性,以及基于IPNS 的文件域名系统。

内容版本方面,IPFS 使用分布式版本控制系统Git,支持多人协同工作,记录每次更新并标记不同的版本号,一旦发生问题,可以将文件回溯到之前的任何一个版本。

本地版本控制系统和集中化的版本控制系统都是由单一服务器保存所有文件的修订版本,一旦服务器发生故障,则面临丢失所有数据的风险。

Git 是分布式版本控制系统(DVCS)的一种,客户端除了保存最新版本的文件,还把代码仓库和历史记录都完整地镜像下来。

这样,任何一处协同工作的服务器发生故障,都可以用任何一个本地仓库进行恢复。

Git 还可以比较文件变化细节,查出谁进行了什么修改,从而可以在发生问题时快速准确的找出原因。

更进一步,许多DVCS 系统都可以指定和若干不同的远端代码仓库进行交互,用户可以在同一个项目中和不同工作小组的人相互协作,根据需要设定不同的协作流程,而这在以前的系统中是无法实现的。

图表3:集中化的版本控制系统图表4:分布式版本控制系统IPFS 团队对Git 数据结构进行改造,在Merkle Tree 的基础上得到了Merkel DAG,拥有内容寻址、防篡改、去重三大功能。

IPFS 将文件划分成单个大小不超过256kB 的数据块,每个数据块拥有唯一的哈希值,并构造一个Merkel DAG 将所有文件碎片组织起来。

Merkel DAG 是实现版本化文件系统的一种核心数据结构,比Merkle Tree 的限制更少,但是保留了其两点精髓:1)父节点哈希由子节点哈希决定,即父节点哈希由子节点哈希拼接的字符串再次哈希而成;2)父节点中包含指向子节点的信息。

任何一个下层节点的改动都将导致上层节点哈希值的变动,最终根节点的哈希值也将变动,因此MerkleDAG 的三大功能得以实现:1)内容寻址:使用多重哈希来唯一识别一个数据块的内容;2)防篡改:数据接受方只需一段Merkle 路径上的哈希值,就可以检查数据是否被篡改;3)去重:内容相同的数据块的哈希是相同的,可据此删除重复数据,节省存储空间。

图表5:Merkle DAG 数据结构及功能特点IPFS 的路由功能采用分布式哈希列表DHT,帮助客户节点快速找到所需数据所在的节点,具有离散性、伸缩性和良好的容错性。

DHT 是一种分布式哈希表,通过存储的键值对提供查询服务:键值对存储在DHT 中,节点可以检索给定键对应的值,键值对的映射由网络中所有的节点维护。

在不需要服务器的情况下,每个节点负责一小部分路由和数据存储,从而实现整个DHT 网络的寻址和存储。

即使有节点加入或离开,对整个网络的影响也很小,因此DHT 可以扩展到非常庞大的节点(上千万)。

DHT 具有以下性质:1)离散型:构成系统的节点之间都是对等的,没有中央控制机制进行协调;2)伸缩性:不论系统有多少节点,都要求高效工作;3)容错性:不断有节点加入和离开,不影响整个系统的工作。

图表6:DHT 网络工作原理IPNS 是IPFS 的文件域名系统,像HTTP 系统的域名(网址)一样,使用户搜索文件时只需查询文件名,而不受文件内容变更的影响。

IPFS 中文件的哈希值完全取决于文件内容,不仅难以记忆,一旦修改文件内容其哈希值也会发生改变,每次更新文件后都需更新引用的哈希值,十分不便。

为了能够在不破坏其链接的情况下更改文件内容,IPFS 团队使用了一种标记更新网址哈希的域名系统,即星际名称系统IPNS。

IPNS 是一个去中心化的命名系统,使用类似哈希的地址安全地指向可变内容,每个文件都可以被协作命名为易读的名字,通过搜索就可以找到文件。

自认证文件系统SFS 对文件进行命名,同时提供了IPNS 以解决传播问题,很好地解决了当前用户不习惯输入哈希值访问文件的问题,在现有的互联网系统和IPFS 系统间搭建了一个桥梁。

相关文档
最新文档