网络文件系统NFS与分布式文件系统DFS究竟有什么区别
网络文件系统NFS与分布式文件系统DFS究竟有什么区别
网络文件系统(NFS) 最早由Sun微系统公司作为TCP/IP网上的文件共享系统开发。
Sun公司估计现在大约有超过310万个系统在运行NFS，大到大型计算机、小至PC机，其中至少有80%的系统是非Sun平台。
AFS是专门为在大型分布式环境中提供可靠的文件服务而设计的。
它通过基于单元的结构生成一种可管理的分布式环境。
一个单元是某个独立区域中文件服务器和客户机系统的集合，这个独立区域由特定的机构管理。
通常代表一个组织的计算资源。
分布式文件系统DFS是Andrew文件系统AFS的一个版本，如果文件的访问仅限于一个用户，那么分布式文件系统就很容易实现。
可惜的是，在许多网络环境中这种限制是不现实的，必须采取并发控制来实现文件的多用户访问。
随着安防视频监控系统技术的进步和规模的增长对存储的要求也在发生深刻的变化，对存储系统的容量、扩展性、性价比、性能、管理性、稳定性等都提出了新的要求，传统的存储方式已经不能满足要求。
为满足安防视频监控的新要求，解决城市级海量视频数据存储、检索难题，以视频、图片文件存储和管理为核心的面向大规模数据密集型应用的、可伸缩的分布式文件系统SDFS(Sky Distributed File System)被提出。
在普通PC或通用服务器集群上部署的SDFS可以达到NAS/SAN的冗余
及可靠性，同时又能提供NAS/SAN无法达到的高吞吐量及强大的水平扩展能力。
原文出自：。
GPFS文件系统介绍
GPFS (General Parallel File System) 介绍
2005 Technical Support Service
议程 1. GPFS介绍 介绍
2005 Technical Support Service
GPFS（General Parallel File System)介绍 背景 （ 介绍----背景 介绍
GPFS cluster
ห้องสมุดไป่ตู้
Quorum
Quorum是保障GPFS资源可用和完整性的机制。 在一个GPFS系统中，如果半数以上节点上的 GPFS守护进程正常工作，此机制就被激活。 GPFS文件系统就处于可用状态。
LUN1a 存储1 存储
LUN1b 存储2 存储
2005 Technical Support Service
GPFS 架构 – 文件系统结构
一个GPFS文件系统包含一组磁盘，称为一个条带组（ stripe group）。用于存储 MetaData, Quota Files, GPFS recovery log, User data。这些磁盘配置信息放置 在每个磁盘的 file system descriptor area区，FSDA也包含文件系统状态信息。 MetaData
GPFS介绍 概述 介绍----概述 介绍
在高性能运算群集系统中，一个用户 作业需要在多台主机上并行运行，每 个主机有单独的CPU和内存，但需要 共享的磁盘系统来存放作业的中间数 据。 文件系统的共享最常见有两种手段： NFS和GPFS。 NFS (Network File System)，I/O性 能差，没有高可用性，锁机制管理， 并发性差。 GPFS，一个文件系统能够横跨在所 有主机上，分布在所有磁盘上，条带 化读写，高性能。信令管理机制，并 发性好。有高可用性。 GPFS和AIX紧密结合，在高性能运算 领域占据举足轻重的地位，有着广大 的客户群；Oracle RAC支持GPFS文 件系统，在国内外也有大量的客户。
MooseFS使用总结材料
MooseFS使用总结2010-12-08 12:55 阿炯流行的开源分布式文件系统比较我现在有海量的数据文件(1000万个文件)需要存储，需要让其他计算机可以很容易地访问，数据无价，我还希望这个文件系统带冗余功能。
我首先注意到的是Ubuntu Enterprise Cloud的提供者:Eucalyptus。
它提供了和AWS(Amazon Web Service)几乎完全兼容的云计算接口，看起来似乎是个云存储的靠谱解决方案。
Eucalyptus模仿Amazon的S3服务，提供了一个叫做Walrus的存储服务组件。
可是经过一番探索，我发现Eucalyptus想说爱你不容易。
一方面是因为Eucalyptus配置起来很麻烦，缺乏文档，网上几乎找不到任何相关帮助；另一方面，虽然理论上Eucalyptus和AWS的EC2/S3兼容，但实际上并非如此，很多在AWS上可以用的工具，在Eucalyptus上就无法使用最关键是，直到最后我把Walrus配置完成之后，才发现Walrus根本不像我想的那样，是一个带冗余的云存储系统。
而只是一个实现了S3接口的单机软件而已。
实际上Walrus和Eucalyptus的另一个组件sc(storage controller)没有任何关联，Walrus只是提供了和S3一致的接口，而它的实现方式，既不带冗余，也不能分开部署在多台服务器上。
于是我开始寻找一个真正的分布式文件系统，来解决我的存储难题。
一找才发现，市面上各种分布式文件系统品种繁多，层出不穷。
列举几个主要的：mogileFS：Key-Value 型元文件系统，不支持FUSE，应用程序访问它时需要API，主要用在web领域处理海量小图片，效率相比mooseFS高很多。
FastDFS：国人在mogileFS的基础上进行改进的key-value型文件系统，同样不支持FUSE，提供比mogileFS更好的性能。
mooseFS：支持FUSE，相对比较轻量级，对master服务器有单点依赖，用c编写，性能相对较好，国内用的人比较多glusterFS：支持FUSE，比mooseFS庞大。
神州云科分布式文件和大数据存储DCN NCS DFS2000系列
7.1.1 或更高版本 6.5.5 或更高版本 7.1.1 或更高版本
的操作系统
操作系统
操作系统
最大容量 (HDD/SSD) 最大硬盘数量
144TB 36
36 TB 12
144TB 36
144TB 36
21.6-28.8TB /0-4.8TB
24
21.6-28.8TB /0-4.8TB
24
系统 ECC 内存
分布式存储系统 DCN NCSDFS2000 系列
10
分布式存储系统
DCN NCS DFS2000 系列
产品概述
神州云科 DCN NCS DFS2000（简称 DFS2000）系列是面向大数据的存储系统， 采用分布式架构，以业界领先的卓越性能，大规模扩展能力和超大单一文件系统向用 户提供非结构化数据共享资源存储，能够应用于公安、归档分析、卫星测绘、生物技术、 能源勘探、科研教育等多种大数据业务应用的需求。
分布式存储系统 DCN NCSDFS2000 系列
12
应用环境
大数据存储、分析平台，高性能计算系统
规格参数
群集属性
DFS 2200
DFS 2400
DFS 2600
DFS 2610
DFS 2800
DFS 2810
节点数量
3-144 个
3-144 个
3-144 个
3-144 个
3-144 个
3-144 个
产品亮点
性能卓越
横向扩展体系结构：
真正的分布式、全对称群集体系结构，将模块化存储节点与数据和存储管理 软件相结合
内部高速互连：
后端采用 10GE 或 40GE Infiniband 网络互联
【图文详解】深入HDFS原理
【图⽂详解】深⼊HDFS原理本⽂主要详述了HDFS的组成结构，客户端上传下载的过程，以及HDFS的⾼可⽤和联邦HDFS等内容。
若有不当之处还请留⾔指出。
当数据集⼤⼩超过⼀台独⽴的物理计算机的存储能⼒时，就有必要对它进⾏分区，并存储到若⼲台独⽴的计算机上。
Hdfs是Hadoop中的⼤规模分布式⽂件存储系统。
HDFS的特点HDFS⽂件系统可存储超⼤⽂件1）HDFS是⼀种⽂件系统，⾃⾝也有块（block）的概念，其⽂件块要⽐普通单⼀磁盘上⽂件系统⼤的多，hadoop1.0上默认是 64MB，2.0默认是128MB。
与其他⽂件系统不同的是，HDFS中⼩于⼀个块⼤⼩的⽂件不会占据整个块的空间。
2）HDFS上的块之所以设计的如此之⼤，其⽬的是为了最⼩化寻址开销。
如果块设置得⾜够⼤，从磁盘传输数据的时间会明显⼤于定位这个块开始位置所需的时间。
3）HDFS⽂件的所有块并不需要存储在⼀个磁盘上，因此可以利⽤集群上任意⼀个磁盘进⾏存储，由于具备这种分布式存储的逻辑，所以可以存储超⼤的⽂件。
HDFS同⼀时刻只允许⼀个客户端对⽂件进⾏追加写操作（不⽀持多个写⼊者的操作，也不⽀持在⽂件的任意位置修改），这样避免了复杂的并发管理功能，但也限制了系统性能。
运⾏在普通廉价的机器上Hadoop 的设计对硬件要求低，⽆需昂贵的⾼可⽤性机器上，因为在 HDFS 设计中充分考虑到了数据的可靠性、安全性和⾼可⽤性。
HDFS适合存储⼤⽂件并为之提供⾼吞吐量的顺序读/写操作，不太适合⼤量随机读的应⽤场景，也不适合存⼤量⼩⽂件的应⽤场景。
HDFS是为⾼吞吐量应⽤优化的，会以提⾼时间延迟为代价，因此不适合处理低时延的数据访问的应⽤。
HDFS体系架构HDFS 是⼀个主/从（Master/Slave）体系架构，由于分布式存储的性质，集群拥有两类节点 NameNode 和 DataNode。
NameNode（名称节点）：系统中通常只有⼀个，中⼼服务器的⾓⾊，管理存储和检索多个 DataNode 的实际数据所需的所有元数据，响应客户请求。
分布式存储——精选推荐
分布式存储⽬录分布式系统理论基础什么是分布式系统,这个概念我们很难⽤⼀个精准的描述⽅式来概括出,所有的意义来。
但⼤体上来讲，我们可以从两个层⾯来描述⼀个分布式系统的特性。
第⼀，分布式系统⼀定是,他有很多种组1、系统的各组件分布于⽹络上多个计算机2、各组件彼此之间仅仅通过消息传递来通信并协调⾏动分布式系统存在的意义：那⼀般⽽⾔，我们要使⽤分布式系统的主要原因在于，第⼀，我们系统扩展可以有两种模型。
所谓向上和向外对不对，⽽经验表明，向上扩展的这种模型，他的性价⽐越来越低。
第⼆，单机1、向上扩展的性价⽐越来越低；2、单机扩展存在性能上升临界点：3、出于稳定性及可⽤性考虑，单机会存在多⽅⾯的问题CPU，内存，IO要想理解分布式系统所能够带给我们的意义，分布式系统的⽬的，主要是扩展了单机处理能⼒的弱势，或者说瓶颈。
我们计算机主要包含五⼤部件，根据所谓的冯诺依曼架构所构成的系统，多CPU,多线程编程假设刚开始使⽤的是LAMP或者LNMP。
最简单的时候就是这么⼀种架构。
⽽且还有可能是构建在单机上。
所以我们的⽹站刚开始的时候有可能只有⼀台主机。
⼀个主机内部有⼀个所谓的ap LAMP,LNMP应⽤从资源占⽤的⾓度分两类：CPU Bound（CPU密集型应⽤）IO Bound（IO密集型应⽤）session sticky（会话粘滞，基于IP地址的session粘滞）ip basedcookie based（基于cookie的session分发）session replication（会话复制，不是⽤⼤规模集群中，所以使⽤第3种。
）session server（session集中存储）引出缓存：1、页⾯缓存varnish, squid2、数据緩存key-value（memcached）主库写操作压⼒：数据库拆分垂直拆分：把数据库中不同的业务的数据拆分到不同的数据库服务器中⽔平拆分，把⼀个单独的表中的数据拆分到多个不同的数据库服务器上NoSQL：⾮关系数据⽂档数据库列式数据库... ...SFS：⾮结构化数据TFS，MogileFS：适⽤于存储海量⼩⽂件。
大数据技术及应用 第3章 大数据存储技术
3.2.2 HDFS体系结构
• HDFS采用了主从（Master/Slave）结构模式，一个HDFS
集群包括一个名称节点和若干个数据节点。客户端可以
支持打开、读取、写入等常见操作，通常通过一个可配
置的端口向名称节点主动发起TCP连接，并使用客户端协
议与名称节点进行交互，客略
3.2.4 HDFS访问方式
•FileSystem是一个通用文件系统的抽象基类，可以被分布式文件系统继承， 所有可能使用Hadoop文件系统的代码，都要使用这个类 •Hadoop为FileSystem这个抽象类提供了多种具体实现 •DistributedFileSystem就是FileSystem在HDFS文件系统中的具体实现 •FileSystem的open()方法返回的是一个输入流FSDataInputStream对象，在 HDFS文件系统中，具体的输入流就是DFSInputStream；FileSystem中的 create()方法返回的是一个输出流FSDataOutputStream对象，在HDFS文件 系统中，具体的输出流就是DFSOutputStream。
3.1.2 分布式存储
• 分布式存储架构由三个部分组成：客户端、元数据服务器和数据服 务器。客户端负责发送读写请求，缓存文件元数据和文件数据。元 数据服务器负责管理元数据和处理客户端的请求，是整个系统的核 心组件。数据服务器负责存放文件数据，保证数据的可用性和完整 性。
GPFS 文件系统简介
GPFS文件系统简介内容提要:AIX上的并行文件系统(GPFS)允许使用者共享分布在多个节点和多个磁盘上的文件。
它允许并行的应用程序同时从GPFS 节点组（nodeset）中的任何节点访问相同或不同的文件(节点组nodeset 被定义为一组运行相同版本GPFS的节点). GPFS文件系统的设计目标是使数据分布在一个集群中的所有节点上，允许应用程序通过标准的UNIX文件系统接口来访问数据。
大多数的UNIX文件系统被设计在单一服务器环境下使用，在这一环境下, 增加文件服务器也不会提高特定的文件存取的性能。
GPFS 被设计成通过将I/O分布在多个硬盘提高性能，通过日志和复制的方式提高可靠性，和通过增加节点的方式提高系统的可扩展性。
说明:AIX上的并行文件系统(GPFS)允许使用者共享分布在多个节点和多个磁盘上的文件。
它允许并行的应用程序同时从GPFS 节点组（nodeset）中的任何节点访问相同或不同的文件(节点组nodeset 被定义为一组运行相同版本GPFS的节点). GPFS文件系统的设计目标是使数据分布在一个集群中的所有节点上，允许应用程序通过标准的UNIX文件系统接口来访问数据。
大多数的UNIX文件系统被设计在单一服务器环境下使用，在这一环境下, 增加文件服务器也不会提高特定的文件存取的性能。
GPFS 被设计成通过将I/O分布在多个硬盘提高性能，通过日志和复制的方式提高可靠性，和通过增加节点的方式提高系统的可扩展性。
GPFS的特性GPFS通过高性能的,共享磁盘的文件系统提供对于IBM UNIX服务器群集中的快速的数据访问。
平行的和串行的应用程序能够容易地使用标准的UNIX文件系统接口，如open(), close()等存取文件。
GPFS通过将I/O分布在多个硬盘提高性能，通过日志和复制的方式提高数据的可靠性，通过增加节点和在节点之间由SPSwitch互联提高系统的可扩展性.大多数UNIX下的文件系统被设计来应用于单一服务器的典型环境。
文件虚拟化技术手册
TechTarget 存储技术手册之文件虚拟化技术手册 第 2 页 共 26 页文件虚拟化定义文件虚拟化产品TechTarget 存储技术手册之文件虚拟化技术手册 第 3 页 共 26 页文件虚拟化应用文件虚拟化不但可以解决存储容量不足的问题，而且还可以使原本复杂的存储架构变得更加简单。
但由于用户的存储环境和采用的技术各不相同，文件虚拟化有时可能也会引起其它的问题。
这一部分内容将向我们讲解文件虚拟化技术在应用中的优势和劣势。
z 文件虚拟化让存储架构更加智能z 文件虚拟化对文件拷贝或文件迁移有何影响吗？z 谈谈文件虚拟化的优缺点z 文件虚拟化如何缓解NAS 数据过快增长z 文件虚拟化策略：管理非结构化数据z 有益于NAS 的技术之二：文件虚拟化系统TechTarget存储技术手册之文件虚拟化技术手册 第 4 页 共 26 页TechTarget 存储技术手册之文件虚拟化技术手册 第 5 页 共 26 页什么是文件虚拟化？问：您能解释一下什么是文件虚拟化吗？答：文件虚拟化其实就是将文件数据与其限制性条件以及如何被访问和管理等分隔开来。
通过CIFS 或NFS 访问文件有很多好处，正如在NAS（网络附加存储）环境下一样。
但是，在这样的文件环境下你会受到很多的限制。
最要命的是，你的客户、桌面或服务器可能连接在某单个访问路径，如果你要移动文件或目录，后果会非常严重。
文件虚拟化则可以屏蔽你访问文件数据的方式，从而让你移动和管理文件时不会对客户端造成任何的影响。
因此，如果你的存储架构确实很庞大，包含了很多不同业务系统需要访问的不同数据，文件虚拟化会给你带来很大的好处。
此外，它还可以简化存储系统的迁移。
文件虚拟化复杂就复杂在目前市场上的文件虚拟化技术种类繁多，需要认真挑选合适自己的技术。
（作者：Jeff Boles 译者：涂凡才 来源：TechTarget 中国）TechTarget 存储技术手册之文件虚拟化技术手册 第 6 页 共 26 页文件虚拟化是怎样完成的？包含哪些因素？问：文件虚拟化是怎样完成的?都包含了哪些因素?答：文件虚拟化实际上包含了很多的服务，比如镜像、复制、快照、时间点(PIT)复制、文件系统集成、数据转移、存档、HSM 桩(有时也叫做ILM)以及存储层次中的数据抽象。
曙光ParaStor云存储系统
软件特性
内嵌ParaStor组件及软件
POSIX/NFS/CIFS/FTP接口 RESTful接口 双副本（推荐）、2+2:1 权限管理、配额、WORM
适合容量小、大文件存储场景 适用于金融票据、医疗PACS等市场 小文件存储、有扩容要求不建议推荐
曙光ParaStor云存储系统
目录
1 2
市场地位 产品规格
产品特性
3
4 5
应用场景
竞争分析
存储市场发展趋势
存储市场变化
2015年，全球存储市场缓慢增长（2.2%） 2015年中国大陆增长率14.8%，全球市 场份额7.8% 国有厂商市场增长率为43.3%，目前市 场份额达56.9%
$18.00 $16.00 $14.00 $12.00 $10.00 $8.00 $6.00 $4.00 $2.00 $0.00
视频监控专用存储系统
视频监控专 用存储系统
硬件
单路服务器 4U24、4U36盘位 32GB Cache/3.5”HDD 1GbE/10GbE
98000974
主推 场景 推广 “死 区”
视频监控对成本要求较为严格 仅作为存储资源池，节点与 视频业务无复用需求
存储节点上需要运行视频业务软件 对性能要求较高
2013年 2010年单一 中国区NAS IDC 系统16PB 排名第3
2014年
中国区NAS IDC 排名第２
2015年 中国区 NAS IDC 排名第1
截至2015年 1100+用户成功应用 累计销售容量260+PB
存储组网技术 华为存储HCIA
数据中心存储网络：数据存储已经成为目前的一个热点技术，也是继互联网热之后的又一次技术浪潮，它将网络带入以数据为中心的时代。
数据存储经过了三个发展阶段：直接附加存储（DAS）、网络附加存储(NAS) 、存储区域网络（SAN）。
DAS是在以CPU为中心的计算为王时代的产物，适应于最初计算机工业的发展，而对于SAN和NAS，其技术上最大的区别在于是采用专门的协议还是现有的IP技术，以及数据共享等问题的分别考虑SAN的优势在于最初解决网络带宽问题的考虑NAS更侧重于通用性和数据共享的考虑。
存储分类：DAS：Direct-Attached StorageFAS：Fabric-Attached StorageNAS：Network Attached StorageSAN：Storage Networks存储模型的比较：DAS（Direct Attached Storage 直接附加存储）是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上SAN（Storage Area Network 存储区域网络），是一种通过网络方式连接存储设备和应用服务器的存储构架，这个网络专用于主机和存储设备之间的访问，存储设备串行运行，文件共享程度低NAS（Network Attached Storage 网络附加存储），是一种文件共享服务。
存储系统拥有自己的文件系统，通过NFS或CIFS（SMB）对外提供文件访问服务SAN与NAS：NAS（Network- Attached Storage ）协议:NFS/CIFS (基于TCP/IP)提供文件访问，适用于文件存储需求适宜文件共享访问的应用，支持异构平台文件共享文件的数据迁移比裸设备简单可靠SAN（Storage Area Networks）协议: FC/iSCSI裸设备访问，适宜传统数据库访问依赖应用主机提供文件访问。
共享访问需要集群软件支持，处理冲突访问开销大，性能较差，难以支持异构环境共享裸设备数据迁移困难DAS、SAN、NAS对比：DAS - 传统直连存储技术：适合于对存储容量要求不高、服务器的数量很少的中小型局域网，其主要的优点在于存储容量扩展的实施非常简单，投入的成本少而见效快特点：存储设备直接连接到主机数据分散管理存储容量利用率低扩展性差DAS的定义：DAS是1个或多个直接连接到使用它们的服务器上的指定存储设备，这些存储设备为服务器提供块级数据访问服务DAS分类：基于存储设备与服务器间的位置关系，DAS分为内部DAS和外部DAS：内部DAS：在内部DAS架构中，存储设备通过服务器机箱内部的并行或串行总线连接到服务器上。