第9章 分布式文件系统及并行计算框架
并行计算和分布式系统的设计
并行计算和分布式系统的设计随着科技的不断发展，计算机系统的处理能力愈加强大。
为了满足越来越复杂的应用需求，计算机系统开始采用并行计算和分布式系统的设计。
并行计算是指将一个大问题分解成多个小问题并行处理，而分布式系统则是将系统中的硬件和软件分布在多个节点上，同时协调和管理这些节点。
本文将介绍并行计算和分布式系统设计的原理、应用和挑战。
一、并行计算的原理并行计算是利用多个处理器同时处理多个任务来提高计算速度的一种计算模式。
它的原理是将一个任务划分成多个子任务，不同的处理器同时处理各自的子任务，最后将处理结果合并得到最终的结果。
并行计算采用多核、分布式、集群等多种形式，可以大大提高计算效率。
并行计算的优点是提高计算效率和性能，缩短计算时间。
与串行计算相比，它可以利用更多的处理器来处理任务，从而在更短的时间内完成计算任务。
并行计算广泛应用于大数据分析、计算机模拟、机器学习等领域。
二、分布式系统的原理分布式系统是将一个大型系统分解成多个子系统，并将这些子系统分布在不同的节点之间协同工作，共同完成一个任务的计算系统。
分布式系统可以提高系统的可靠性、可扩展性和可用性。
分布式系统的优点是提高了系统的可靠性和可扩展性，可以更好地应对突发的访问量和故障，从而提高了系统的可用性。
分布式系统系统广泛应用于云计算、分布式数据库、网站负载均衡等领域。
三、并行计算与分布式系统的应用并行计算和分布式系统的设计广泛应用于大数据分析、人工智能、云计算等各个领域。
比如人工智能中的深度学习，需要处理大量的训练数据，采用并行计算可以提高计算效率，缩短训练时间；云计算中的虚拟化技术，可以将一个大型的物理服务器虚拟化成多个虚拟机，分布式在多个节点上运行，提高了系统的可靠性和可扩展性，降低了成本。
四、并行计算与分布式系统的挑战并行计算和分布式系统的设计也面临着一些技术挑战和难点。
首先是系统的可扩展性和可靠性问题，如何在节点之间分布任务、协调工作、检测故障等是一个难点。
并行计算与分布式系统
并行计算与分布式系统在当今互联网时代，数据规模呈现爆炸式增长，传统的计算方式已经无法满足大规模数据处理的需求。
并行计算与分布式系统应运而生，成为解决这一问题的有效手段。
本文将围绕并行计算与分布式系统展开探讨，探究其原理、应用和未来发展趋势。
一、并行计算的原理并行计算是指将任务划分成多个子任务，并在多个处理单元上同时进行计算的一种方式。
其核心思想是通过并行工作来提高计算速度和效率。
并行计算的原理可以分为两种方式：数据并行和任务并行。
1. 数据并行：数据并行是将大规模数据集划分成若干个小数据集，并在不同的处理单元上同时进行计算。
每个处理单元负责处理相应的小数据集，并将计算结果进行合并，以获得最终的结果。
数据并行的优势在于可以充分利用多个处理单元的计算能力，提高计算效率。
2. 任务并行：任务并行是将整个任务划分成若干个子任务，并在不同的处理单元上同时执行。
每个处理单元负责执行相应的子任务，各个子任务之间可以相互独立或存在依赖关系。
任务并行的优势在于可以同时执行多个任务，提高计算速度和效率。
二、分布式系统的概念与特点分布式系统是指由多台计算机组成的网络系统，各个计算机具有独立的处理能力和存储能力，通过网络进行通信和协作，实现共享资源和分布式计算的一种系统架构。
分布式系统的特点主要包括以下几个方面：1. 可靠性：分布式系统可以通过冗余和容错机制提高系统的可靠性。
当系统中的某个节点出现故障时，其他节点可以接管其任务，保证系统的正常运行。
2. 扩展性：分布式系统可以通过增加节点数量来扩展系统的计算、存储和处理能力。
随着节点数量的增加，系统的性能可以得到有效提升。
3. 透明性：分布式系统可以隐藏分布式计算的复杂性，用户可以像使用本地资源一样使用分布式系统，无需关注底层的实现细节。
4. 高性能：分布式系统可以利用多个节点的计算能力，提高系统的整体性能。
通过合理的任务划分和负载均衡机制，可以充分利用分布式系统的优势。
操作系统中的分布式系统与并行计算
操作系统中的分布式系统与并行计算分布式系统与并行计算在操作系统中的重要性在当今的信息技术领域中，分布式系统和并行计算已经成为了不可忽视的重要话题。
随着计算机技术的不断发展和应用需求的增加，操作系统中的分布式系统和并行计算在提高计算效率、解决大规模计算问题方面发挥了重要作用。
本文将从分布式系统和并行计算的概念、应用领域、实现方法以及在操作系统中的重要性等方面进行论述。
一、分布式系统的概念和应用领域分布式系统是指由多个计算机或者硬件设备组成的系统，在这个系统中，这些设备通过通信网络相互连接，协同工作，以实现所需功能。
分布式系统的应用领域非常广泛，涵盖了计算机科学的各个领域，例如：网络搜索引擎、电子商务、分布式数据库系统、云计算等。
在分布式系统中，最重要的特点之一是系统中的各个计算节点可以并行处理任务。
这样一来，不仅可以提高计算效率，还可以实现负载均衡，提高系统的稳定性和可靠性。
此外，分布式系统还具备高度可扩展性的特点，可以根据实际需求增加或者减少计算节点，以适应不同规模的计算任务。
分布式系统广泛应用于各个行业，例如：搜索引擎领域的百度、谷歌等，电子商务领域的阿里巴巴、亚马逊等，以及云计算领域的亚马逊云服务(AWS)、微软Azure等。
这些分布式系统的运行依赖于一致性协议、数据复制、故障恢复等技术手段，来保证系统的可靠性和性能。
二、并行计算的概念和实现方法并行计算是指将一个大型计算任务分解成多个小任务，由多个计算单元并行地执行，以提高计算速度和效率的计算方法。
它是实现分布式系统中任务并行处理的重要手段。
并行计算有多种实现方法，例如：共享内存并行计算、分布式内存并行计算、消息传递并行计算等。
在共享内存并行计算中，多个计算单元共享相同的内存，可以通过读写共享内存实现通信和同步。
而在分布式内存并行计算中，每个计算单元都具有独立的内存，需要通过网络信息传递来进行通信和同步。
消息传递并行计算则是通过发送和接收消息实现计算单元之间的通信和同步。
分布式系统中的并行计算与分布式计算(十)
分布式系统中的并行计算与分布式计算随着科技的不断发展和互联网的普及，我们生活中的许多领域都离不开分布式系统的应用。
分布式系统是由多个计算机节点组成的，它们通过网络通信来共同解决一个问题。
并行计算是分布式系统中的一种重要方式，它通过将任务划分为多个子任务，并行执行来提高计算效率。
本文将分析分布式系统中的并行计算与分布式计算，探讨它们的优势、挑战和应用。
一、并行计算的优势并行计算通过将大任务分解为多个小任务同时执行，提高了计算的效率和速度。
它具有以下优势：1. 提高计算速度：并行计算将任务分发给多个处理器同时执行，减少了计算时间。
在大规模数据处理、模拟计算和科学计算等领域，通过并行计算可以显著提高计算速度。
2. 提高系统可靠性：分布式系统中的并行计算可以将任务分发给多个计算节点执行，即使其中一个节点出现故障，其他节点仍可继续执行任务，提高了系统的可靠性。
3. 扩展性好：通过增加计算节点，可以扩展系统的计算能力。
并行计算可以根据任务的复杂程度自动调整节点数量，实现灵活的计算资源分配。
二、并行计算的挑战然而，并行计算也面临一些挑战，需要克服以下问题：1. 任务划分与通信开销：并行计算需要将任务分解为多个子任务，同时还需要考虑子任务之间的通信。
良好的任务划分和通信机制能够减少通信开销，提高计算效率。
2. 数据一致性：在分布式系统中，多个计算节点并行执行任务，需要考虑数据的一致性问题。
数据一致性的维护和同步是并行计算中的难点之一。
3. 调度和负载均衡：并行计算需要有效的任务调度和负载均衡机制，以保证每个计算节点的计算任务能够平衡分配，并且任务能够以合适的顺序执行。
三、分布式计算的应用分布式计算在各个领域都有广泛的应用，以下是几个典型的应用场景：1. 大规模数据处理：分布式计算能够处理大规模的数据集，例如云计算中的大数据分析、搜索引擎中的网页排名等。
2. 并行模拟计算：分布式计算可以用于并行模拟计算，例如气候模拟、网络仿真等。
计算机科学中的并行计算与分布式系统
计算机科学中的并行计算与分布式系统随着科技的发展，计算机的应用已经渗透到我们生活的各个领域。
在信息爆炸的时代，计算机科学中的并行计算与分布式系统变得非常重要。
本文将深入探讨并行计算与分布式系统在计算机科学领域中的应用和意义。
一、并行计算并行计算，顾名思义即多个计算任务同时进行，从而提高计算机的处理速度和效率。
并行计算的应用广泛，涵盖了科学计算、大规模数据处理、人工智能等众多领域。
在科学计算中，比如天气预报、地震模拟等，需要进行大量的数据处理和计算。
通过并行计算，将任务分配给多个处理器同时处理，可以大大缩短计算时间，提高效率。
在大规模数据处理中，比如搜索引擎、社交网络分析等，需要处理海量的数据。
通过将数据分片并行处理，可以提高数据处理的速度，快速获取需要的结果。
在人工智能领域，比如深度学习和神经网络训练，需要进行大量的计算和模型训练。
通过并行计算，可以加快训练速度，提高算法的性能。
二、分布式系统分布式系统是由多个计算机或服务器组成的系统，它们通过网络连接，并共享资源和信息。
分布式系统的设计目标是提高系统的可靠性、可扩展性和性能。
在分布式系统中，每个节点都可以独立地完成一部分任务，然后将结果传递给其他节点，实现任务协作。
这种分布式的任务分配和处理方式可以大大提升系统的并发性和处理能力。
分布式系统广泛应用于云计算、大数据处理等领域。
云计算基于分布式系统的基础设施，提供了弹性计算、存储和服务，为用户提供了高性能和可靠的计算资源。
在大数据处理中，分布式文件系统和分布式数据库可以将海量的数据分布到多个节点上进行存储和处理，提升数据的处理速度和可扩展性。
此外，分布式系统还被广泛应用于网络通信、分布式存储、分布式数据库、分布式计算等领域。
三、并行计算与分布式系统的关系并行计算和分布式系统虽然有不同的概念和实现方式，但在计算机科学中密切相关，并相互依赖。
并行计算可以通过分布式系统来实现，将任务分配给多个节点并行处理，并通过通信机制进行结果的汇总和协同。
本科《云计算与大数据》课程教学大纲
《云计算与大数据》课程教学大纲开课单位：计算机科学与技术教研室课程类别：专业基础课总学时：48 讲授学时：40 实验学时：8 学分：2.5开课学期：第五学期先修课程：操作系统、数据库原理、面向对象程序设计教学方式：理论讲授加实验考核方式：考试使用教材及主要参考书：建议使用教材：陶皖主编，《云计算与大数据》西安电子科技大学出版社2017.1推荐参考资料：（1）《云计算（第三版）》刘鹏主编，电子工业出版社，2015.8（2）《大数据搜索与挖掘》张华平著，科学出版社，2014.5（3）《云计算与大数据技术》王鹏等编著.人民邮电出版社.2014.5月一、课程的性质和任务云计算和大数据正在引发全球范围内深刻的技术和商业变革，已经成为IT行业主流技术。
云计算通过分布式操作系统、虚拟化、并行计算、弹性计算、效用计算等关键技术，为大数据提供了基础物理平台，大数据是落地的云，技术涵盖了从数据的海量存储、处理到应用多方面的技术，包括数据采集、海量数据存储、非关系型数据管理、数据挖掘、数据可视化以及智能分析技术如模式识别、自然语言理解、应用知识库等。
本课程为物联网工程专业开设的一门专业基础课，主要学习云计算和大数据处理的相关原理和技术，结合核、医应用，与实际工程应用相结合，构建相应的云计算和大数据分析与应用平台。
二、教学基本要求本课程采取研讨式教学模式，教师主讲技术体系和结构原理，技术细节分为理论、实践、应用等专题，由学生自主选择专题进行自主钻研，阅读文献，搭建软件平台并实际运行，上台讲解，提交论文和实验报告，充分培养学生的自主学习和动手能力。
通过本课程学习，使学生掌握大数据的采集、传输、处理和应用的技术，了解Hadoop分布式系统基础架构，掌握HDFS和Map Reduct术。
了解HBase Hive、Zookeeper、Avro、Pig等相关大数据技术，与实际工程应用相结合，构建相应的云计算平台。
教学应当结合实际实验条件，培养学生实践动手能力，了解大数据技术发展现状，促进大数据相关教学改革。
并行计算与分布式系统教程
并行计算与分布式系统教程在当今信息时代，计算机技术的快速发展使得日益增多的数据需要高效的处理和存储。
并行计算和分布式系统应运而生，为大规模数据处理提供了解决方案。
本文将介绍并行计算和分布式系统的基本概念、原理和应用，帮助读者了解并熟悉这一领域。
一、并行计算的基本概念和原理并行计算是指通过同时执行多个计算任务来提高计算速度的一种计算方法。
在传统的串行计算中，计算任务是按照顺序一步一步执行的，而在并行计算中，计算任务可以被同时分解为多个子任务，并在多个处理器上并行执行，以提高计算效率。
并行计算依赖于并行处理器的支持，这些处理器拥有多个独立的算术逻辑单元(ALU)，可以同时执行多条指令。
在并行计算中，任务被划分成多个子任务，并分配给不同的处理器进行处理，处理器之间可以通过共享内存或消息传递来进行通信和协调。
并行计算可以应用于各种计算密集型任务，如科学计算、机器学习、图像处理等。
通过并行计算，可以大大缩短任务的执行时间，提高计算效率。
二、分布式系统的基本概念和原理分布式系统是指由多个自治的计算节点组成，通过网络相互连接和通信，协同完成共同的任务的一种计算系统。
分布式系统可以扩展到任意数量的节点，提供高可用性、高性能和可扩展性。
在分布式系统中，每个计算节点被称为一个服务器，它们可以同时执行不同的任务，并通过消息传递机制来进行通信和协调。
每个服务器都有自己独立的内存、处理器和存储空间，并通过网络互相连接。
分布式系统的设计和实现涉及到许多重要的技术，如数据分区、负载均衡、容错机制等。
数据分区是将大规模的数据集划分成若干个较小的数据块，分散存储在不同的服务器上，以提高数据的访问速度和并行计算的效率。
负载均衡是指将任务均匀地分配给各个服务器，以充分利用系统资源，提高系统的整体性能。
容错机制是指在分布式系统中，由于计算节点的故障或通信故障导致的任务中断，系统能够自动检测并进行故障恢复，保持系统的可用性。
三、并行计算与分布式系统的应用并行计算和分布式系统广泛应用于科学计算、大数据分析、云计算等领域。
分布式系统与并行计算介绍
分布式系统与并行计算介绍随着科技的不断进步，计算机系统的规模和性能需求也在不断增加。
传统的单机计算已经无法满足大规模数据处理和高性能计算的需求，因此分布式系统和并行计算成为了解决方案。
本文将介绍分布式系统和并行计算的概念及其应用领域，并探讨其在未来的发展。
一、什么是分布式系统分布式系统是由多个相互独立的计算节点组成的计算网络。
每个计算节点都有自己的处理器和内存，它们通过通信网络相互连接，并通过共享数据实现协同工作。
这些计算节点可以是物理机器，也可以是虚拟机或容器。
分布式系统的优势在于它们能够通过增加计算节点的数量来提高性能和可靠性。
当系统面临大量计算任务时，可以将这些任务分解成更小的子任务，并将子任务分配给不同的计算节点并行执行。
此外，分布式系统还具备容错能力，即当某个节点出现故障时，其他节点仍可以继续执行任务。
二、分布式系统的应用领域分布式系统广泛应用于各个领域。
其中一个重要的应用领域是云计算。
云计算平台利用分布式系统的能力，将计算、存储和网络资源集中管理，提供按需分配和弹性伸缩的服务。
这使得用户可以按需使用计算资源，大大降低了成本并提高了灵活性。
另一个应用领域是大数据处理。
随着互联网的快速发展，海量的数据需要被高效地存储、处理和分析。
分布式系统通过将数据分散存储在多个节点上，以及并行地执行计算任务，能够高效地处理大规模数据，并提供实时的分析结果。
此外，分布式系统还被应用于分布式数据库、分布式文件系统、分布式存储系统等领域，为用户提供高性能、高可用性的服务。
三、什么是并行计算并行计算是指将一个大规模计算任务分解成多个子任务，并将子任务同时执行以加速计算过程的计算模型。
每个子任务可以在不同的处理器上并行执行，以减少计算任务的执行时间。
并行计算主要有两种形式：共享内存并行和分布式并行。
共享内存并行是通过共享内存来实现多个线程或进程之间的数据共享和通信。
而分布式并行则是通过网络连接多台计算节点，每个节点独立执行子任务，并通过消息传递进行通信。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
9.1分布式文件系统HDFS
9.1.3 HDFS操作命令与编程接口
1、HDFS的启动与关闭 启动输入：sbin/start-dfs.sh
9.1分布式文件系统HDFS
9.1.3 HDFS操作命令与编程接口
1、HDFS的启动与关闭 关闭输入：sbin/stop-dfs.sh
9.1分布式文件系统HDFS
9.1分布式文件系统HDFS
9.1.2 HDFS的数据管理
• HDFS通过三个重要角色：NameNode、DataNode、 Client来进行文件系统的管理。
1）文件写入 ① Client向NameNode发起文件写入的请求。 ② NameNode根据文件大小和文件块配置情况，返回给 Client它所管理部分DataNode的信息。 ③ Client将文件划分为多个Block，根据DataNode的地址信 息，按顺序写入到每一个DataNode块中。
9.1分布式文件系统HDFS
9.1.2 HDFS的数据管理
2）文件读取 ① Client向NameNode发起文件读取的请求。 ② NameNode返回文件存储的DataNode的信息。 ③ Client读取文件信息。 3）文件块（Block）复制 ① NameNode发现部分文件的block不符合最小复制数的要 求或者部分DataNode失效。 ② 通知DataNode相互复制Block。 ③ DataNode开始直接相互复制。
//与put相类似，也可以从从键盘读取输入到hdfs file中
9.1分布式文件系统HDFS
9.1.3 HDFS操作命令与编程接口
2、文件操作 • hadoop fs -get < hdfs file > < local file or dir>
//local file不能和 hdfs file名字不能相同，否则会提示文件 已存在，没有重名的文件会复制到本地 • hadoop fs -get < hdfs file or dir > ... < local dir >
9.1分布式文件系统HDFS
9.1.2 HDFS的数据管理
写过程：
9.1分布式文件系统HDFS
9.1.2 HDFS的数据管理
读过程：
9.1分布式文件系统HDFS
9.1.2 HDFS的数据管理
读过程：
ቤተ መጻሕፍቲ ባይዱ
9.1分布式文件系统HDFS
9.1.2 HDFS的数据管理
① Block的放置：一个Block会有三份备份。 ② 心跳检测：用心跳检测DataNode的健康状况，如果发现 问题就采取数据备份的方式来保证数据的安全性。 ③ 数据复制：使用HDFS的balancer命令配置一个Threshold 来平衡每一个DataNode磁盘利用率。 ④ 数据校验。采用CRC32作数据交验。 ⑤ 单个NameNode。如果单个NameNode失败，任务处理 信息将会记录在本地文件系统和远端的文件系统中。
9.1分布式文件系统HDFS
9.1.1 HDFS的结构及文件访问
2、相关概念 3）通信协议 • 作为一个分布式文件系统，HDFS中大部分的数据都是通
过网络进行传输的。为了保证传输的可靠性，HDFS采用 TCP协议作为底层的支撑协议。应用可以向NameNode主 动发起TCP连接。应用和NameNode交互的协议称为 Client协议，NameNode和DataNode交互的协议称为 DataNode协议。而用户和DataNode的交互是通过发起远 程过程调用（Remote Procedure Call，RPC）、并由 NameNode响应来完成的。另外，NameNode不会主动发 起远程过程调用请求。
西安电子科技大学出版社
第9章 分布式文件系统及并行计算框架
9.1 分布式文件系统HDFS 9.2 并行计算框架MapReduce 实验 HDFS的文件操作命令及API编程 实验 Eclipse下的MapReduce编程
本章重点及难点
重点： • HDFS结构及文件访问 • MapReduce原理 • 实验 难点： • 实验
9.1分布式文件系统HDFS
9.1.1 HDFS的结构及文件访问
2、相关概念 2）命名空间 • HDFS中的文件命名遵循了传统的“目录/子目录/文件”
格式。通过命令行或者是API可以创建目录，并且将文件 保存在目录中；也可以对文件进行创建、删除、重命名操 作。命名空间由NameNode管理，所有对命名空间的改动 （包括创建、删除、重命名，或是改变属性等，但是不包 括打开、读取、写入数据）都会被HDFS记录下来。 • HDFS允许用户配置文件在HDFS上保存的副本数量，保 存的副本数称作“副本因子”（Replication Factor），这 个信息也保存在NameNode中。
9.1分布式文件系统HDFS
9.1.2 HDFS的数据管理
⑥ 数据管道性的写入。当客户端要写入文件到DataNode上， 首先会读取一个Block然后写到第一个DataNode上，然后由 第一个DataNode传递到备份的DataNode上，一直到所有需 要写入这个Block的DataNode都成功写入，客户端才会开始 写下一个Block。 ⑦ 安全模式。分布式文件系统启动时会首先进入安全模式， 当分布式文件系统处于安全模式时，文件系统中的内容不允 许修改和删除，直到安全模式结束。安全模式主要是为了在 系统启动的时候检查各个DataNode上数据块的有效性，同 时根据策略进行必要的复制或者删除部分数据块。
9.1分布式文件系统HDFS
9.1.2 HDFS的数据管理
⑥ 数据管道性的写入。当客户端要写入文件到DataNode上， 首先会读取一个Block然后写到第一个DataNode上，然后由 第一个DataNode传递到备份的DataNode上，一直到所有需 要写入这个Block的DataNode都成功写入，客户端才会开始 写下一个Block。 ⑦ 安全模式。分布式文件系统启动时会首先进入安全模式， 当分布式文件系统处于安全模式时，文件系统中的内容不允 许修改和删除，直到安全模式结束。安全模式主要是为了在 系统启动的时候检查各个DataNode上数据块的有效性，同 时根据策略进行必要的复制或者删除部分数据块。
9.1.3 HDFS操作命令与编程接口
2、文件操作 命令基本格式:
• hadoop fs -cmd < args >
9.1分布式文件系统HDFS
9.1.3 HDFS操作命令与编程接口
2、文件操作 • hadoop fs -ls //列出hdfs文件系统根目录下的目录和文件 • hadoop fs -ls -R // 列出hdfs文件系统所有的目录和文件
9.1分布式文件系统HDFS
9.1.1 HDFS的结构及文件访问
• DataNode是文件系统的工作节点，它们根据客户端或者 是NameNode的调度来存储和检索数据，并且定期向 Namenode发送它们所存储的块（block）的列表。集群中 的每个服务器都运行一个DataNode后台程序，这个后台 程序负责把HDFS数据块读写到本地的文件系统。当需要 通过客户端读/写某个数据时，先由NameNode告诉客户 端去哪个DataNode进行具体的读/写操作，然后，客户端 直接与这个DataNode服务器上的后台程序进行通信，并 且对相关的数据块进行读/写操作。
9.1分布式文件系统HDFS
9.1.1 HDFS的结构及文件访问
HDFS的基本文件访问过程是： • 1）首先，用户的应用程序通过HDFS的客户端程序将文
件名发送至NameNode。 • 2）NameNode接收到文件名之后，在HDFS目录中检索
文件名对应的数据块，再根据数据块信息找到保存数据块 的DataNode地址，将这些地址回送给客户端。 • 3）客户端接收到这些DataNode地址之后，与这些 DataNode并行地进行数据传输操作，同时将操作结果的 相关日志（比如是否成功，修改后的数据块信息等）提交 到NameNode。
9.1分布式文件系统HDFS
9.1.1 HDFS的结构及文件访问
2、相关概念 3）通信协议 • 作为一个分布式文件系统，HDFS中大部分的数据都是通
过网络进行传输的。为了保证传输的可靠性，HDFS采用 TCP协议作为底层的支撑协议。应用可以向NameNode主 动发起TCP连接。应用和NameNode交互的协议称为 Client协议，NameNode和DataNode交互的协议称为 DataNode协议。而用户和DataNode的交互是通过发起远 程过程调用（Remote Procedure Call，RPC）、并由 NameNode响应来完成的。另外，NameNode不会主动发 起远程过程调用请求。
9.1分布式文件系统HDFS
9.1.1 HDFS的结构及文件访问
2、相关概念 1）数据块Block • 为了提高硬盘的效率，文件系统中最小的数据读写单位不
是字节，而是一个更大的概念——数据块。HDFS数据块 的默认大小是64MB，而且在不少实际部署中，HDFS的 数据块甚至会被设置成128MB甚至更多。 • 将数据块设置成这么大的原因是减少寻址开销的时间。
9.1分布式文件系统HDFS
9.1.1 HDFS的结构及文件访问
1、体系结构
9.1分布式文件系统HDFS
9.1.1 HDFS的结构及文件访问 • NameNode 管理者文件系统的Namespace。它
通过Namespace 镜像文件（Namespace Image） 和操作日志文件（Edit Log）管理文件系统树 （FileSystem tree）以及文件树中所有的文件和 文件夹的元数据（Metadata）。Namenode记录 着每个文件中各个块所在的数据节点的位置信息， 但是它并不持久化存储这些信息，因为这些信息 会在系统启动时从数据节点重建。