Hadoop实战-陆嘉恒-笔记

1,Hadoop项目和结构

hd的核心是mapReduce和HDFS

(1)core/common

提供了一些基本的API和服务，包括FileSystem、RPC等。

(2)Avro

用于数据序列化

（3）MapReduce

是一种编程模型，用于大于1TB的数据集的并行运算。

（4）HDFS

特点:高容错、高吞吐量(HDFS适合批量处理，而不适合用户交互处理的快速反应)、基于流访问

适合分析零碎小文件。

(6)Hive

(7)HBase

(8)Pig

支持大规模并行数据分析，提供了叫Pig Latin的语言使之更加容易编程。

(9)Zookeeper

是高有效和可靠的协同工作系统，Zookeeper能够用来leader选举，配置信息维护等，在一个分布式的环境中，需要一个Master实例或存储一些配置信息，确保文件写入的一致性等.

1.3 Hadoop的体系结构

1.3.1 HDFS体系结构

HDFS采用主从（Master/Slave）结构，NameNode作为主服务器管理文件系统的命名空间和客户端对文件的访问操作，也负责数据块到具体DataNode的映射。DataNode实际存储数据。

1.3.2 MapReduce的体系结构

MapReduce由运行在主节点上的JobTracker和运行在集群从节点上的TaskTraker组成。jobTraker调度任务和监控任务。

1.4 Hadoop 与分布式开发

Hd实现了分布式文件系统和部分分布式数据库的功能。

MR的原理是：利用一个输入的key/value对集合产生一个输出的key/value对集合。

1.数据分步存储

HDFS把文件割成了block,存储于不同的DataNode上，还可以通过复制block来达到容灾

2.并行式计算

3．本地计算

4. 任务粒度

把大数据切成小数据时，小数据等于默认block大小。如果有M个小数据等待处理就启动M个map任务，M个map任务分布于N台计算机并行运行。Reduce任务的数量R由用户指定。

5.数据分割（Partition）

6.数据合并（Combine）

7.Reduce

8. 任务管道

1.5 Hd计算模型-mapReduce

1.6 Hd的数据管理

HDFS分布式文件系统，HBase分布式数据库，Hive数据仓库。

1.6.1 HDFS的数据管理

1，文件写入和读取都是Client先向NameNode发起请求，再在DataNode里操作数据。

2，Block的复制：如果NameNode发现部分文件的Block不符合最小复制数这一要求或部分DataNode失效;通知DataNode开始相互复制block

2.1 block的放置：block有三份：一份在NameNode指定的DataNode上，一份和指定的DataNode不同的机器上，一份在同一个Rack上

2.2心跳检测

2.3 数据复制

2.4 只有把数据都备份了三份成功，客户端才会开始写入下一个block

2.5 安全模式，就是不允许修改和删除数据。

1.6.2 HBase的数据管理

https://www.360docs.net/doc/163591099.html,/link?url=F95QnJ0hxY_RnT8JDDgPzCkc0BG28omSmHdXTboJBYkNGsZEI YFDo9ibdJRNUQF1oml3jR96LMVJe7qfwe_Eo5fx3arcST4tIxGbUV_JaO3

1，HBase特点：

2，关于列族：列族必须作为表模式定义的一部分预先给出。每个列族可以有多个列成员如：course:math， course是列族名，而math是列名。新的列成员可以动态加入。HBase 把同一列族里的数据存储在同一目录下，有几个文件保存。

3，逻辑存储结构是《网摘-笔记》

1.table{

2.// ...

3."aaaaa" : { //一行

4."A:foo" : { //一列

5. 15 : "y", //一个版本

6. 4 : "m"

7. },

8."A:bar" : { //一列

9. 15 : "d",

10. },

11."B:" : { //一列

12. 6 : "w"

13. 3 : "o"

14. 1 : "w"

15. }

16. },

17.// ...

18.}

查询"aaaaa"/"A:foo"/4，返回的结果就是"m"，也就是可以(row:string,

column:string, time:int64)→string 来表示一条键值对记录。

1，Hbase的写操作是锁行的。

2，HBase 在分布式集群上依靠HRegion,HMaster,HClient管理。

主服务器作为HBase的中心，管理整个集群中的所有域，监控每台域服务器的运行情况等；域服务器接收来自服务器的分配域，处理客户端的域读写请求并回写映射文件等；客户端

主要用来查找用户域所在的域服务器地址信息。

3，主服务器负责域的分配工作，通过“根域（单一域）”和“元域（用户域，随用户增

长而增长）”配合分配；主服务器监控域服务器的运行，如发现域服务器不可达或者超负荷，则连到别的域服务器。

4，HRegionServer 主要有服务于主服务器分配的域、处理客户端的读写请求、缓存区回写、压缩、分割等功能

4.1 写请求和缓存回写过程：

①客户端和主服务器通信获取域和域所在域服务器列表，就可以直接向域服务器发送域读

写请求。②如果是写请求，先把写请求信息写入一个日志文件Hlog，HLog被缓存在存储

缓存区MemCache中。③如果是读请求，域服务器先检查请求数据在存储缓存区中是否命中，如果没有命中，云服务器再去查找相关的映射文件。④当存储缓存区的大小达到一定

值后，将缓存区中的数据写到磁盘上，形成映射文件。

4.2压缩：当映射文件数量达到一定值时，服务器会将多个映射文件合并成一个，叫压缩。

4.3 分割：当射文件大小达到一定值时（比如256M）,一个域服务器会被分成两个小的子域。

5，HBaseClient

Client查找用户域所在域服务器地址请求过程：①client 问主服务器查找到根域②定位到根

域后，连上根域服务器，再通过扫描根域获取元域信息，③再连上元域服务器，通过扫描

元域来获取用户域所在域服务器地址。④客户端连接域服务器发出读写请求，并且域服务

器的地址在客户端被缓存，后续请求无需重复上述过程。⑤不管是由于主服务器为了负载

均衡重新分配域还是域服务器崩溃，客户端都要重新扫描元表来定位新的用户域地址。

1.6.2 Hive的数据管理

数据仓库的作用－－存储历史数据－进而对数据进行分析，只提供查询－不提供修改。Hive 的目标是做成数据仓库，所以它提供了SQL，提供了文件－表的映射关系，又由于Hive基于HDFS，所以不提供Update，因为HDFS本身就不支持。

Hive的数据管理按照层次可以分元数据存储、数据存储、数据交换

1，元数据存储

Hive 将元数据存在RDBMS中，可以又三种模式连接到数据库：比较常用的是multi user mode 通过网络连接数据库。

2，数据存储

Table 类似于数据库中的table，每个table都有一个目录来存数据。

Partition类似于索引

Buckets 对指定列计算hash，根据hash值切分数据，目的是为了便于并行，每个bucket一个文件

External table指向已经在HDFS中存在的数据。

3，数据交换

第二章 hadoop 的安装配置

摘《Hadoop平台搭建及实例运行_(自测版).doc》

步骤一般来说就是安装java;安装hadoop;配置master和slave;生成input文件夹和文件；运行测试的程序；生成输出在output

第三章 hadoop应用案例分析

hadoop的强项是对海量数据进行处理

3.1 hadoop在yahoo的应用

1. 大规模的数据处理分为三个不同的任务：数据收集，数据准备，数据表示。

数据收集比如可以采用网络爬虫。

数据准备通常被认为是ETL(提取、转换和加载)，或者是数据工厂。

数据准备的经典是数据流水线包括反馈、清洗和转换。可以使用Pig Latin (Pig Latin,该语言借鉴了SQL和map/reduce两者的优点，既具有类似SQL的灵活可变式性，又有过程式语言的数据流特点。Pig Latin语言在编程风格上与SQL有明显差别，前者凸显了程序的执行数据流，后者只关注最终结果。SQL更适合于编程经验不丰富的程序员，适合小规模数据集；Pig Latin更适合有经验的程序员和大规模数据集. Pig Latin程序被编译为mapreduce作业，在hadoop上执行。)

数据表示一般是指数据仓库。

商业智能分析可以将数据连接（如Hive通过ODBC）到BI工具上产生报表.而特定查询，Hive 提供了SQL接口和关系模型。

3.2 hadoop在ebay的应用

3.3 hadoop在百度的应用

第四章 mapReduce 计算模型

4.2.1 MapReduce job

Map接受,产生另外一个< key1,value2 >.hadoop会接受< key2,value2 >，且收集有相同key的元素，以给reduce，reduce会输出

4.2.1 hadoop中的Hello world程序

1，InputFormat

Map接受的是受InputFormat类生成的InputSplit控制的，比如对于TextInputFormat来说，每行记录会生成一个,其中key是字节偏移量，value是每行的内容。

2，outputFormat

比如对于TextOutputFormat来说，每条记录以一行的形式存入文本文件。

Map的输出是写在本地磁盘上的，而reduce的输出是输出到HDFS上。

3，编写mapReduce程序的一般注意点：

（1）写一个内部类implements Mapper<输入key,输入值，输出key,输出值> ，且实现Map（）方法

（2）写一个内部类implements Reducer <输入key,输入值，输出key,输出值>，且实现reduce（）方法

（3）在包裹内部类的外部类的main方法里设置：

4.3 MapReduce任务的优化

1，主要优化i/o和计算性能

2，mapReduce擅长处理少量的大数据，而不擅长大量小数据。所以可以可以通过调整block大小来优化

3，combine函数在本地合并有相同key的值，减少网络i/o

3,压缩输出来减少网络i/o

第五章开发mapReduce 应用程序

1，

Hadoop有三种运行方式：本地、伪分布（本地运行，但是运行的文件系统为HDFS,能够完全模仿完全分步模式）、完全分步

2，

3,每个输入文件一个map任务，但是可以设置每个taskTracker节点，同时“正在执行”的map任务的个数，建议设置为比较大的值，从而缩短运行时间。

第十三章 Mahout

集成了一些机器学习算法

第十五章 zookeeper （摘：https://www.360docs.net/doc/163591099.html,/blog/2014486）

其实就是基于DFS来协调系统

1，zooker的架构

也有leader和follower的概念

Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式（选主）和广播模式（同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。

当leader崩溃或者leader失去大多数的follower，这时候zk进入恢复模式，恢复模式需要重新选举出一个新的leader，让所有的Server都恢复到一个正确的状态。Zk的选举算法有两种：一种是基于basic paxos实现的

Basic paxos简单来说就是如果“多数”Server认为某个server是leader，那这个server就是leader。

2，Zookeeper的设计目标：

（1）最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper 最重要的性能。

（2）原子性：更新只能成功或者失败，没有中间状态。

（3）实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。

（4）顺序性：一台服务器上消息a在消息b前发布，则在所有Server上消息a都将在消息b前被发布

3，应用

Zookeepr允许分布式的继承通过共享体系的命名空间来进行协调。命名空间类似文件系统的目录，也就是每个server都对某个共享目录进行监控，来协调工作工作

每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识，如/SERVER2节点的标识就为/APP3/SERVER2

比如说，配置的集群，Zookeeper很容易实现这种集中式的配置管理，比如将APP1的所有配置配置到/APP1 znode下，APP1所有机器一启动就对/APP1这个节点进行监控(zk.exist("/APP1",true)),并且实现回调方法Watcher，那么在zookeeper上/APP1 znode节点下数据发生变化的时候，每个机器都会收到通知，Watcher方法将会被执行，那么应用再取下数据即可(zk.getData("/APP1",false,null));

另外有一个应用场景就是集群选master,一旦master挂掉能够马上能从slave中选出一个master,实现步骤和前者一样，只是机器在启动的时候在APP1SERVERS创建的节点类型变为EPHEMERAL_SEQUENTIAL类型，这样每个节点会自动被编号

我们默认规定编号最小的为master,所以当我们对/APP1SERVERS节点做监控的时候，得到服务器列表，只要所有集群机器逻辑认为最小编号节点为master，那么master就被选出，而这个master宕机的时候，相应的znode会消失，然后新的服务器列表就被推送到客户端，然后每个节点逻辑认为最小编号节点为master，这样就做到动态master选举。