分布式文件系统研究：Global File System
分布式文件系统研究16：Global File
System
分类： 技术日志
前段时间比较忙，好久没发技术文章了，几天来一个，嘿嘿
Global File System
简介
GFS（Global File System）是Minnesota大学开发的基于SAN的共享存储的机群文件系统，后来Sistina公司将GFS产品化。GFS在很长一段时间都是以源代码开放软件的形式出现的，后来由于Sistina希望通过向用户提供支持和服务的计划未能取得成功，为了要促进自己的财务收入，Sistina在2001年将GFS变成了一种“专有软件”。Red Hat公司收购Sistina之后，在遵循GPL协议（General Public License）的条件下履行诺言公开了GFS的源代码。现在，GFS的全名被称为“红帽全球文件系统”（Red Hat Global File System ，GFS）的软件，每台服务器每年收取2200美元的费用。
可能是redhat为了更好的收取服务费的缘故，有关GFS的文档真是少之又少，我只能从网上一些零星的资料来看看GFS的概貌。
框架
GFS最初是在IRIX上开发的，后来移植到LINUX上，并开放源码。基本框架如下图所示。
图1 GFS的基本框架图
通过使用GFS，多台服务器可以共用一个文件系统来存储文件。信息既可以存储在服务器上，也可以存储在一个存储局域网络上。 GFS与GPFS结构相似，但它是全对称的机群文件系统，没有服务器，因而没有性能瓶颈和单一故障点。GFS将文件数据缓存于节点的存储设备中，而不是缓存在节点的内存中。并通过设备锁来同步不同节点对文件的访问，保持UNIX文件共享语义。GFS实现了日志，节点失效可以快速恢复。GFS使用SCSI设备锁来进行同步，目前很少设备实现这种设备锁。在没有设备锁的情况下，GFS也是通过唯一的锁服务器来进行同步，因此，锁服务器是其性能的瓶颈。
用户通过GFS可以加快数据访问速度，并进行信息复制。一旦一台服务器出现问题，用户仍可以通过网络内其他的计算机访问有关的数据。GFS对于以以下两种方式连接而成的计算机集群尤其有用：1、计算机集群中任何一台机器都可以在另一台机器发生故障时接管这台计算机的工作，2、计算机集群中的所有机器联合起来组成一台超级计算机。
GFS允许多个Linux机器通过网络共享存储设备。每一台机器都可以将网络共享磁盘看作是本地磁盘，而且GFS自己也以本地文件系统的形式出现。如果某台机器对某个文件执行了些操作，则后来访问此文件的机器就会读到写以后的结果。
图2 GFS通过NFS和HTTP的扩展
如上图所示，GFS设计时就考虑到了可以通过NFS或者HTTP协议进行扩展。但是数据控制和数据传输的开销显然要小于NFS。
图3 NFS的控制和数据传输路径
上图是NFS的控制和数据传输路径。控制路径从用户应用通过VFS传递到NFS客户端。NFS通过TCP/IP协议执行远程调用。NFS服务器端响应调用请求，通过VFS访问本地文件系统，然后由本地文件系统来访问本地的存储设备。数据传输路径包括：用户内存和NFS客户端缓存之间的内存拷贝，NFS客户端与网络缓存之间的拷贝，缓存网络缓存和NFS服务器端缓存之间的拷贝。这些拷贝通过系统总线和网络连接进行。
图4 GFS的数据传输路径
GFS的控制和数据传输路径由上图所示。控制路径从用户应用通过VFS到达GFS。GFS向网络存储池（network storage pool，NSP）中的存储设备发出请求。块对齐数据（Block aligned data）在用户内存和存储设备间传输，非对齐数据则临时的通过系统内存传递。
GFS中有一个很重要的概念，叫网络存储池（The network storage pool，NSP)。NSP为每台机器提供了一个统一的存储地址空间。GFS通过NSP实现了存储设备的网络共享。这些存储设备可以是共享SCSI(Shared SCSI)和共享通道(Fibre Channel - FC)。NSP包装这些存储设备使得它们好像节点本地的文件系统。
NSP还可以根据存储设备的类型分为多个子存储池（subpools）。NSP同时也对锁进行管理。GFS发送“锁”和“解锁”命令给NSP，NSP收到后把逻辑锁号转成对应的物理设备的锁号进行锁定。 GFS把文件系统组织成数个资源组（resource groups，RG）。通过RG，GFS把文件系统的资源分布在整个NSP上。一个存储设备上可以存在多个RG。RG实际上是各微型的文件系统(minifile system)。
图5 文件到存储池和资源组的映射
上图演示了从文件到RG，以及从RG到NSP子池的映射。文件可能被存放在数个RG和多重存储池中。
优点：
GFS的主要优点在于：
高可用性：如果一个GFS客户失效，数据还可以通过其他GFS客户访问；
扩展性：因为不需要中心服务器，所有很容易扩展存储容量和访问带宽；
缺点：
和现在流行的SAN型文件系统相比，设计思想似乎有点落后了；
费用较高；
大数据与云计算学习（1）
⼤数据与云计算学习（1）
⼤数据学习
⼀、⼤数据概述： 1、⼤数据概念和特征。 正确答案： ⼤数据意指⼀个超⼤的、难以⽤现有常规的数据库管理技术和⼯具处理的数据集 数据量⼤（Volume）：存储的数据量巨⼤，PB级别是常态，因⽽对其分析的计算量也⼤。 数据类型繁多（Variety）：数据的来源及格式多样，数据格式除了传统的结构化数据外，还包括半结构化或⾮结构化数据，⽐如⽤户上传的⾳频和视频内容。⽽随着⼈类活动的进⼀步拓宽，数据的来源更加多样。 处理速度快（Velocity）：数据增长速度快，⽽且越新的数据价值越⼤，这就要求对数据的处理速度也要快，以便能够从数据中及时地提取知识，发现价值。 价值密度低（Value）：在成本可接受的条件下，通过快速采集、发现和分析，从⼤量、多种类别的数据中提取价值的体系架构。 复杂度（Complexity）：对数据的处理和分析的难度⼤。
2、试述⼤数据时代的“数据爆炸”的特性
正确答案：
⼈类社会产⽣的数据以每年50%速度增长，即每两年增加⼀倍。
3、试述⼤数据对思维⽅式的重要影响？你如何理解数据思维？
正确答案：
三种思维的转变：全样⽽⾮抽样，效率⽽⾮精确，相关⽽⾮因果
具备数据思维，能帮助创业者抓住商业机会。
⽣活中的⼤部分数据，数据思维都可以给你启发。
像AlphaGo ⼀样思考、学习、挑战、迭代AlphaGo= ⼤数据 + ⼈⼯智能 + ⼤规模计算
4、举例说明⼤数据的应⽤领域
正确答案：
⾦融⾏业：⼤数据在⾼频交易、社区情绪分析和信贷风险分析三⼤⾦融创新领域发挥重要作⽤。
汽车⾏业：利⽤⼤数据和物联⽹技术的五⼈驾驶汽车，在不远的未来将⾛进我们的⽇常⽣活。
互联⽹⾏业：借助于⼤数据技术，可以分析客户⾏为，进⾏商品推荐和有针对性⼴告投放。
个⼈⽣活：利⽤与每个⼈相关联的“个⼈⼤数据”，分析个⼈⽣活⾏为习惯，为其提供更加周全的个性化服务。
5、云计算长定义和短定义：
正确答案：
长定义：云计算是⼀种商业计算模型。它将计算任务分布在⼤量计算机构成的资源池上，使各种应⽤系统能够根据需要获取计算⼒、存储空
常见的分布式文件系统
常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。
Google学术论文，这是众多分布式文件系统的起源
==================================
Google File System（大规模分散文件系统）
MapReduce （大规模分散FrameWork）
BigTable（大规模分散数据库）
Chubby（分散锁服务）
一般你搜索Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)就有了。
做个中文版下载源：/topics/download/38db9a29-3e17-3dce-bc93-df9286081126
做个原版地址链接：
/papers/gfs.html
/papers/bigtable.html
/papers/mapreduce.html
GFS（Google File System）
--------------------------------------
Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。
下面分布式文件系统都是类 GFS的产品。
HDFS
--------------------------------------
Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。
Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用，是Google开创其帝国的重要基石。
网络常用术语缩写
网络常用术语缩写(A~E)
A
3GPP（The 3rd Generation Partnership Project，第三代移动通信伙伴项目）
AAL层（ATM Adaptation Layer，ATM适配层）
ABM（Asynchronous Balanced Mode，异步平衡方式）
ABR（Avaliable Bit Rate，可用比特率业务）
AC（Access Control，访问控制）
ACK（Acknowledgment，确认）
ACL（Access Control Lists，访问控制列表）
ACL链路（Asynchronous Connection-Less，异步无连接链路）
ACSE（Association Control Service Element，连接控制服务元素）
Active Directory（活动目录）
ADCCP（Advanced Data Communication Control Procedure，高级数据通信控制过程）
address overloading（地址超载）
ADS（Active Directory Service，活动目录服务）
ADSL（Asymmetric Digital Subscriber Line，非对称数字用户线路）
AES（Advanced Encryption Standard，高级加密标准）
AH（Authentication Header，身份验证头）
AM（Amplitude Modulation，调幅）
AMI（Alternate Mark Inversion，信号交替反转码）
AMPS（Advanced Mobile Phone System，先进移动电话系统）
AP（Access Point，无线访问点）
ARM（Asynchronous Response Mode，异步响应方式）
ARP（Address Resolution Protocol，地址转换协议）
云计算发展及运用论文
摘要
本论文通过分析云计算最新的技术以及运用，对云计算目前的概况进行总结与分析，并且对云计算的未来进行展望。首先阐述云计算的概念与发展历程，对云计算进行总结性描述；然后解释云计算的六大关键技术（海量分布式存储技术、并行编程模式、数据管理技术、分布式资源管理技术、云计算平台管理技术、绿色节能技术），对云计算进行进一步的分析；接着总结出目前最新的企业所提供的云计算（Google云计算、IBM云计算、Amazon云计算）服务，对云计算的运用方式进一步的描述。最终总结出云计算对于企业及个人用户的优势所在，以及未来云计算将会改变IT产业的发展方向。
关键词
云计算 分布式存储技术 GFS MapReduce
云计算的发展及运用
1
目录
引言................................................................................................................................................... 2
一、 当前中国互联网概况 ....................................................................................................... 3
二、 云计算的概念及发展进程 ............................................................................................... 4
（一） 云计算概念 ........................................................................................................... 4
什么是HDFS
什么是HDFS
HDFS是什么：HDFS即Hadoop分布式⽂件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超⼤⽂件，运⾏于商⽤硬
件集群上，是管理⽹络中跨多台计算机存储的⽂件系统。
HDFS不适合⽤在：要求低时间延迟数据访问的应⽤，存储⼤量的⼩⽂件，多⽤户写⼊，任意修改⽂件。
HDFS数据块：HDFS上的⽂件被划分为块⼤⼩的多个分块，作为独⽴的存储单元，称为数据块，默认⼤⼩是64MB。
使⽤数据块的好处是：
⼀个⽂件的⼤⼩可以⼤于⽹络中任意⼀个磁盘的容量。⽂件的所有块不需要存储在同⼀个磁盘上，因此它们可以利⽤集群上的任意⼀个磁盘
进⾏存储。
简化了存储⼦系统的设计，将存储⼦系统控制单元设置为块，可简化存储管理，同时元数据就不需要和块⼀同存储，⽤⼀个单独的系统就可
以管理这些块的元数据。
数据块适合⽤于数据备份进⽽提供数据容错能⼒和提⾼可⽤性。
HDFS的三个节点：Namenode，Datanode，Secondary Namenode
Namenode：HDFS的守护进程，⽤来管理⽂件系统的命名空间，负责记录⽂件是如何分割成数据块，以及这些数据块分别被存储到那些数
据节点上，它的主要功能是对内存及IO进⾏集中管理。
Datanode：⽂件系统的⼯作节点，根据需要存储和检索数据块，并且定期向namenode发送他们所存储的块的列表。
Secondary Namenode：辅助后台程序，与NameNode进⾏通信，以便定期保存HDFS元数据的快照。
HDFS Federation（联邦HDFS）：
通过添加namenode实现扩展，其中每个namenode管理⽂件系统命名空间中的⼀部分。每个namenode维护⼀个命名空间卷，包括命名空间
的源数据和该命名空间下的⽂件的所有数据块的数据块池。
HDFS的⾼可⽤性（High-Availability）
Hadoop的2.x发⾏版本在HDFS中增加了对⾼可⽤性（HA）的⽀持。在这⼀实现中，配置了⼀对活动-备⽤（active-standby）namenode。
分布式并行计算论文
基于Hadoop分布式爬虫设计综述
摘要：由于Internet规模不断扩大,包罗万象的信息资源被连接在一起,形成了一
个广阔宏大的信息空间"在这个空间中,存在着海量的信息,如何快速高效和安全
地让网络用户在如此浩瀚的信息海洋之中找到并获取自己所需的资源,是当前互
联网发展的最大挑战之一。如今,云计算已成为当前的重要趋势之一。本文主要
阐述在Hadoop分布式文件系统HDFS以及分布式计算框架MapReduce的基础
上开发的分布式搜索引擎的爬虫设计相关技术、原理、流程图。
关键词：云计算 分布式爬虫 Hadoop 搜索引擎
1 引言
随着搜索引擎的发展,搜索引擎所采用的技术也随之变得丰富和多样化,能够
适应不同搜索用户以及不同搜索目的的需要。目前,搜索引擎的性能指标主要有
三个:首先考虑的是规模的大小,只有规模达到一定的数量级,用户搜索结果的符
合度才能够达到满足不同用户的需求程度;其次是性能,搜索引擎的网络蜘蛛必须
在一个较短的时间内完成对目标网络的信息搜索,同时,能够在用户可容忍的时间
段内,完成搜索结果的反馈;最后是搜索的质量,能够去掉信息重复的网页,对一些
无用信息进行过滤,能够准确返回用户想要的结果。
如何从庞大的资料库中找到正确的资料,被公认为是下一代搜索技术的竞争
要点"要对海量的信息进行检索,单单依靠单台计算机的处理能力远远不够,即使
硬件的发展速度很快,但是根本赶不上信息的增长速度。而若采用集群计算机实
现,虽然可以解决处理速度问题,但由于从网络的整体上看,该集群仍是一个结点,
会严重受制于网络带宽,因此,需要采用多台计算机进行分布式协同处理"。
分布式搜索引擎是通过网络把大范围的分布、异构数据集联合起来,形成一
个逻辑整体,为用户提供分布式的信息检索服务。同传统搜索引擎相比,分布式搜
索引擎有以下优点:1)各检索服务器之间协同工作,每个服务器只搜索自身自治区域内的信息资
源,彼此之间只传递搜索结果信息,加快了检索速度,减轻网络及各站点的负担;2)与网络资源本身的分布式特性相适应,增加搜索服务器方便,有良好的可扩
rhca 考试内容
rhca 考试内容
RHCA考试内容：
RHCA（Red Hat Certified Architect）认证是红帽公司推出的高级专业认证之一，是目前Linux领域最高级别的企业级认证之一。考核的内容主要围绕于架构设计和解决方案的实施。
RHCA考试内容分为几个模块，每个模块都有不同的考察要点。
1. Exam EX294: Red Hat Certified Engineer in Red Hat Enterprise
Linux 8
这是一个在RHEL 8环境中考察Linux系统管理员和工程师的考试，主要考察以下内容：
- 安装和配置RHEL 8
- 管理系统资源和文件系统
- 配置网络服务和安全
- 执行网络和安全的故障排除
- 使用shell脚本和命令行工具
2. Exam EX283: Red Hat Certified Enterprise Microservices
Developer
这是一个考察企业级微服务开发者的考试，主要考察以下内容：
- 使用Kubernetes和OpenShift来构建和部署容器化应用
- 使用语言（如Java、Node.js和Python）开发微服务
- 使用Restful架构和相关技术来设计和实现微服务应用
- 使用OpenTracing和Prometheus来监控和诊断微服务应用
- 设计和实现安全的和可扩展的微服务应用架构
3. Exam EX407: Red Hat Certified Specialist in Ansible
Automation
这是一个考察自动化工程师和开发者的考试，主要考察以下内容：
- 使用Ansible来自动化基础设施的部署和管理
- 设计和实现复杂的Ansible Playbooks和Roles
- 使用Ansible Tower来管理和扩展Ansible的自动化任务
- 使用Ansible Vault来管理和保护敏感数据
谷歌文件系统双语
The Google File System
Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung
Google∗
ABSTRACT 概述
We have designed and implemented the Google File System, a scalable distributed file system for large
distributed data-intensive applications. It provides fault tolerance while running on inexpensive
commodity hardware, and it delivers high aggregate performance to a large number of clients.
我们设计和实现了Google File System，简称GFS，一个可扩展的分布式文件系统，用于大型分布式数据相关应用。它提供了基于普通商用硬件上的容错机制，同时对大量的客户端提供高性能的响应。
While sharing many of the same goals as previous distributed file systems, our design has been driven
by observations of our application workloads and technological environment,
both current and anticipated, that reflect a marked departure from some earlier file system assumptions.
This has led us to reexamine traditional choices and explore radically different design points.
分布式文件系统KFS的架构与性能分析
MicrocomputerApplicationsVol.27,No.12,2011研究与设计微型电脑应用2011年第27卷第12期
1文章编号：1007-757X(2011)12-0001-04
分布式文件系统KFS的架构与性能分析
张轶彬，李小勇
摘要：分布式文件系统能够解决日益增加的海量存储需求，从而成为研究的热点。KFS就是一款优秀的分布式文件系统。
介绍了KFS的架构以及一些实现细节，并对其读写性能进行了测试分析。
关键词：海量存储;分布式文件系统;性能分析
中图分类号：TP311文献标志码：A
0引言
如今，人类已迈入信息化时代，信息总量正以几何级数
方式增长。以搜索引擎、云计算为代表的信息系统，需要处
理的数据量已达PB级别，并朝着EB级别发展。其中，与
数据密切相关的存储系统成为制约发展的瓶颈，以网络文件
系统NFS为代表的传统存储方案，在容量、性能、可扩展
性等各方面均无法满足新的需求。于是近10年来，企业界、
学术界推动存储系统结构向着并行化、集群化方向发展，研
制出大量新型的并行文件系统。并行文件系统通常拥有如下
特征：
（1）系统都采用集群方式来实现，集群通常包含两类
节点：元数据服务器和数据服务器。元数据服务器通常只管
理名字空间、权限等元数据信息，而底层的磁盘块分配释放
则交由各个数据服务器单独管理。数据服务器提供给外界的
是面向数据对象的访问接口，对象大小远大于磁盘块大小，
且可以大小不一。客户端通常只在执行元数据操作（如打开、
创建文件）时和元数据服务器交互，数据I/O操作则直接与
数据服务器交互。该架构把磁盘块管理、数据I/O处理分散
到多个数据服务器，从而提高了系统的可扩展性。
（2）由于集群包含成百上千个节点并采用廉价的商
品硬件，所以节点故障经常发生。为了保证数据的完整性、
系统的可用性，通常把数据冗余地存放在多个数据服务器，
其中一些采用数据副本方式，另一些则采用诸如奇偶校验的
擦除码方式。而且，当节点故障发生后，系统还能自动修复
Hadoop大数据技术与应用03.第三章HDFS
Hadoop大数据技术与应用03.第三章HDFS
1、(单选)采用多副本冗余存储的优势不包含(D)
A、加快数据传输速度
B、容易检查数据错误
C、保证数据可靠性
D、节约存储空间
2、(单选)下面关于分布式文件系统HDFS的描述正确的是：（A）
A、分布式文件系统HDFS是谷歌分布式文件系统GFS（Google
File System）的一种开源实现
B、分布式文件系统HDFS比较适合存储大量零碎的小文件
C、分布式文件系统HDFS是Google Bigtable的一种开源实现
D、分布式文件系统HDFS是一种关系型数据库
3、(单选)以下对数据节点理解错误的是( B )
A、数据节点在名称节点的统一调度下进行数据块的创建、删除和复制等操作
B、数据节点通常只有一个
C、数据节点用来存储具体的文件内容
D、数据节点的数据保存在磁盘中
4、(多选)下列关于HDFS对文件分块存储的作用描述正确的是（ABCD）
A、有利于负载均衡
B、便于并行处理
C、最小化寻址开销
D、支持大规模文件存储
5、(多选)HDFS只设置一个名称节点带来的局限性包括（ABCD）
A、隔离问题
B、命名空间的限制
C、性能的瓶颈
D、集群的可用性