Hadoop Balancer原理分析

Source Target匹配总结

maxSizeToMove解释

对于Source节点

可以移走的最大数据量 可以接收的最大数据量

对于Target节点


意义

用于保证平衡区（above和below区）的节点经过balancer的一轮操作后（移走数据和接受数据），利用 率仍然在平衡区内。

maxSizeToMove计算
其中： avgUtilization= totalUsedSpace/totalCapacity*100


Balancer处理最上面和最下面的两个区域。对于 avgUtilization-thld ~ avgUtilization+thld间的，认为已经是 平衡的。 Thld可以在启动时，通过-thresld参数设置，默认为10.
为何需要Balancer？

1、异构机器

磁盘容量不一样，可能存在部分DataNode磁盘 使用较高，而部分较低 新增机器机器后，只有新写的数据可能到新的 机器中，老数据不会自动迁移 HDFS上传策略中，如果上传机器为DataNode， 则默认的第一个备份会放在本机上

2、新增机器


3、固定的DataNode上上传数据
for source in overUtilizedDataNodes choose target && sameRack in belowAvgUtilizedDatanodes
over above below under
overUtilizedDatanodes
source
belowAvgUtilizedDatanod es
Future<?>[] futures = new Future<?>[sources.size()]; int i=0; for (Source source : sources) { futures[i++] = dispatcherExecutor.submit(source.new BlockMoveDispatcher()); } 注： 1、BlockMoveDispatcher调用了source的dispatchBlocks函数，该函数完成 主要迁移工作 2、这里看不到pair的概念，是因为在Source中保存了NodeTask类，而 NodeTask类中保存了target的信息； 3、调度时，以source为单位，进行调度，一个source可能对应多个target （NodeTask）；

Balancer的设计

单独作为一个daemon运行

避开和主节点放在一台机器运行

运行达到平衡后，daemon会自动退出，因 此需要定期启动，平衡集群数据
Balancer原理

Balancer根据用户设置的thld值，将DataNode利用率分为 四种，如下图：
overUtilizedDatanodes avgUtilization+ thld aboveAvgUtilizedDatanodes avgUtilization avgUtilization- thld belowAvgUtilizedDatanodes underUtilizedDatanodes
over above below under
Source Target匹配总结

构建每一对<source, target>时，会计算这一对可以移动的数据 大小，计算原则如下： min(source.availibaleSize(), target.availiableSize())， avaliable 计算如下
over above below under
aboveAvgUtilizedDatanod es
source
underUtilizedDatanodes
target
Pair<source,target> Source { NodeTask { target } }
Source Target匹配原则
overUtilizedDatanodes
source
underUtilizedDatanodes
target
Pair<source,target> Source { NodeTask { target } }
Source Target匹配原则

首先按照同Rack进行DN匹配
2、匹配over区和below区
choose source under区

On-Rack按照上图匹配三次，然后再按照Off-Rack匹配三次 Source和target中的节点，并不是一一对应的，可能是多对多（一个 source可以和多个target组成不同的pair，同理一个target也可以和多个 source组成不同的pair，取决于空间配比，比如：

然后按照异Rack（ off-rack ）进行DN匹配
1、匹配over区和under区
for source in overUtilizedDataNodes choose target && notSameRack in underUtilizedDatanodes
over above below under
Source Target匹配原则

首先按照同Rack进行DN匹配
1、匹配over区和under区
for source in overUtilizedDataNodes choose target && sameRack in underUtilizedDatanodes
over above below under

availableSize = maxMoveSize - scheduledSize 其中 scheduledSize初始为0，当出现多个匹配（如<A,B>,<A,C>)时，计算 后一对时（ <A,C>) ，要减去第一队中已经配比好的移动大小（<A,B>）。
Balancer调度原则

针对匹配每一对<source,target>，创建一个 线程，加入dispatcherExecutor中，代码逻 辑如下：
source
belowAvgUtilizedDatanod es
target
Pair<source,target> Source { NodeTask { target } }
Source Target匹配原则

DN按照异Rack（ off-rack ）进行DN匹配
3、under区有节点（还没有和above区匹配过）
overUtilizedDatanodes
source
underUtilizedDatanodes
target
Pair<source,target> Source { NodeTask { target } }
Source Target匹配原则

然后按照异Rack（ off-rack ）进行DN匹配
if (utilization >= avgUtil+threshold || utilization <= avgUtil-threshold) { // over区和under区（两端），移动该数据量后，节点未必会平衡 maxSizeToMove = (long)(threshold*datanode.getCapacity()/100); } else { // above和below区，移动该数据量后，节点肯定还在平衡区中 maxSizeToMove = (long)(Math.abs(avgUtil-utilization)*datanode.getCapacity()/100); } if (utilization < avgUtil ) { // 如果是target节点，还要考虑磁盘剩余可用空间 maxSizeToMove = Math.min(datanode.getRemaining(), maxSizeToMove); } // MAX_SIZE_TO_MOVE固定为10G，不可配置，需要修改源码 maxSizeToMove = Math.min(MAX_SIZE_TO_MOVE, maxSizeToMove);
2、匹配over区和below区
for source in overUtilizedDataNodes choose target && notsameRack in belowAvgUtilizedDatanodes
over above below under
overUtilizedDatanodes
Hadoop Balancer详解
康承昆 2012223040060
基本概念




“过载节点”是指存储使用率大于“平均存储 使用率+允许偏差”的节点; “负载节点”是指存储使用率小于“平均存储 使用率-允许偏差”的节点。 存储使用率表示一个数据节点上已用空间 占可用空间的百分比; 可用空间指的是分配给HDFS可使用的空间， 并非是节点所在机器的全部硬盘空间。

source_node_A ：over区 maxSizeToMove=x（可以移走的） target_node_B: under区 maxSizeToMove=y（可以接收的） pair<A, B>，假设x>y，因此最多只能将x-y的数据移动到B，剩下的数据还需要找到一个C 节点，新城pair<A, C>
for target in underUtilizedDatanodes choose source && notsameRack in aboveAvgUtilizedDatanodes