Docker环境下利用Ambari界面部署HDP

文档控制变更记录

目录

1 集群配置 (1)

1.1 集群组成 (1)

1.2 系统和软件版本 (1)

2 启动Docker Container (2)

2.1 安装docker (2)

2.2 制作镜像 (2)

2.3 启动Ambari-Server节点 (2)

2.4 启动Ambari-Agent节点 (2)

2.5 修改hosts (2)

3 HDP安装部署 (3)

1集群配置

1.1集群组成

本次部署由于虚拟机限制，总共有2个Docker Container，如下所示：

上表中的Docker镜像是利用Dockerfile生成的镜像。首先从Github上克隆https://https://www.360docs.net/doc/b016575694.html,/sequenceiq/docker-ambari.git到本地，然后修改其中的Dockerfile，修改方法为在“EXPOSE 8080”前增加：

最后根据这个Dockerfile生成docker镜像。

1.2系统和软件版本

系统采用CentOS6.5，Docker版本为1.1.2，ambari-server和ambari-agent为1.6.0，HDP版本为2.1。

2启动Docker Container

2.1安装docker

使用yum install docker.io安装docker。

2.2制作镜像

制作过程见1.1。

2.3启动Ambari-Server节点

使用命令docker run -d -p 8080 -h amb0.mycorp.kom --name amb0

ambari-stack --tag ambari-server=true建立主机名为amb0.mycorp.kom的container，其中--tag ambari-server=true表示该container上运行ambari-server。

2.4启动Ambari-Agent节点

使用命令docker run -d -e SERF_JOIN_IP=172.17.0.2 --dns 127.0.0.1

--entrypoint /usr/local/serf/bin/start-serf-agent.sh -e KEYCHAIN=$KEYCHAIN

--name amb1 -h amb1.mycorp.kom ambari-stack --log-level debug建立主机名为amb1.mycorp.kom的container，其中-e SERF_JOIN_IP=172.17.0.2表示该container上运行ambari-agent需要连接的ambari-server。

以上两步之后运行docker ps -a 可以看到当前正在运行的container，例如：

2.5修改hosts

通过docker inspect命名可以查看各个container的信息，从中获取到各个container的IP地址，然后使用ssh登陆到各节点，修改hosts文件，是每个container 都知道其他container主机名对应的IP地址，例如：

3HDP安装部署

通过docker ps -a的运行结果，

可以看到ambari-server container的8080端口映射到主机上为49153。可以通过http://主机IP:49153访问，用户名和密码都是admin，访问界面如下所示：

用admin登录，出现如下界面，接下来可以安装hdp，首先命名集群，选择下一步，操作如下所示：

然后选择安装的hdp的版本，本次部署用HDP2.1，所以选择HDP2.1，然后

点击下一步：

然后在“Target Hosts”方框中填写部署hdp的集群，本次部署填写如下；因为我们运行的ambari-agent，所以选择Perform manual registration on hosts and not use SSH的方框，然后点击“Register and Confirm”按钮：

接下来会进行集群的注册和验证，出现下述画面代表成功，可以点击“Status”栏中的“Success”或者“Failed”查看日志，如下图所示：

日志显示如下图所示：

接下来下一步，显示“选择服务”界面，默认是全选，由于机器性能只选择

HDFS、Nagios、Ganglia和Zookeeper，如下图所示：

况在下拉菜单中选择，尽可能均匀分配，如下图所示：

然后点击下一步，接下来显示的是“指定从节点和客户端”的界面，这个根据实际情况选择服务，尽可能均匀分配，这里是全选，如下图所示：

然后点击下一步，接下来显示的是“配置服务选项”的界面，这个根据机器性能配置，这里主要修改了HDFS中的NameNode directories、SecondaryNameNode Checkpoint directory和DataNode directories，Zookeepe中的ZooKeeper directory还有Nagios中标红的内容，如下图所示：

况，没有问题，点击“部署”按钮，如下图所示：

接下来进入“安装、启动、测试”界面，如下图所示：

下图截取了几张部署过程中的图，仅供参考：

出现下面画面表示“安装、启动、测试”成功：

然后点击下一步，显示的是“部署情况”界面，如下图所示：

然后点击“完成”按钮，进入ambari管理界面，如下图所示：