Cloudera大数据平台环境搭建CDH傻瓜式说明书
cdh运维手册
cdh运维手册CDH运维手册是一份详细介绍CDH（Cloudera Distribution of Hadoop）运维过程的指南。
本文旨在帮助运维人员更好地掌握CDH的部署、管理、维护及优化方法，以确保集群稳定高效运行。
I.引言CDH是基于Apache Hadoop的分布式大数据处理平台，包括Hadoop、Spark、Hive、Pig等组件。
在实际应用中，CDH面临着复杂的运维挑战。
为了提高运维效率，降低故障风险，我们需要深入了解CDH的运维流程。
II.CDH简介CDH（Cloudera Distribution of Hadoop）是Cloudera公司推出的一款大数据处理平台。
它包含了Hadoop的核心组件，如HDFS、YARN、MapReduce等，以及一系列数据处理工具，如Spark、Hive、Pig等。
CDH 提供了一整套大数据解决方案，满足企业在数据存储、分析、挖掘等方面的需求。
III.CDH运维流程A.环境搭建：根据业务需求，选择合适的硬件资源、网络环境和操作系统。
搭建CDH集群，包括配置核心组件和相关工具。
B.数据迁移：将原始数据迁移至CDH集群，根据数据特点选择合适的存储格式和压缩算法。
C.运维管理：监控CDH集群的运行状态，包括资源使用情况、任务进度、日志等。
定期进行性能评估，优化集群配置。
D.故障排查：遇到问题时，快速定位故障原因，采取相应措施进行解决。
E.性能优化：针对CDH集群的性能瓶颈，采取调整参数、优化任务流程等措施，提高集群性能。
F.安全防护：确保CDH集群的安全性，防范外部攻击和内部安全风险。
IV.运维工具与技巧A.常用工具：掌握CDH运维过程中所需的常用工具，如Hadoop DistCp、Hive Query、Spark Submission等。
B.自动化脚本：编写自动化脚本，实现批量任务调度、日志收集、性能监控等功能。
C.监控与报警：搭建CDH集群监控系统，实现实时报警，确保问题及时发现并处理。
Cloudera Manager大数据平台运维操作指南
Cloudera Manager大数据平台运维操作指南1登录Cloudera Manager首页使用谷歌或者火狐浏览器输入http://172.31.0.29:7180 进入Cloudera Manager管理系统登录页面，172.31.0.29为安装Cloudera Manage的机器IP地址，在BI集群里恰好是YUCLIENT的IP地址。
使用admin/admin登录到系统，如下图所示：2启动/停止/重启Cloudera Management Service2.1启动2.2重启2.3停止3启动/停止/重启Hadoop所有服务在启动Hadoop相关服务器前请务必保证已经启动了Cloudera Management Service相关服务！3.1启动当所有服务都启动成功后，各项服务均显示问绿灯状态才为正常，如下图所示：4启动/停止/重启Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper 这里以重启HDFS服务为例，其他服务与之完全相同。
5启动/停止/重启单个节点上的Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper启动/停止/重启节点上的单个服务包括Namenode, Datanode, Hive Server, Hive Metastore, Resource Manager, Nodemanager, Zookeeper等。
这里以重启一台节点上的Datanode服务为例进行说明，启动或停止与之相同，其他服务的操作也与之相同。
等待重启成功，该操作完成。
6修改HDFS、Hive、MapReduce、ZooKeeper等配置参数修改参数包括修改全局参数以及单个节点的某个参数，全局参数指针对整个集群所有节点适用的参数。
下一章会介绍如何修改单个节点的参数。
这里以修改HDFS的blocksize为例进行说明，其他参数修改与之相同。
修改参数并保存修改成功后回到CM主页面，CM会提示是否需要部署客户端配置或者重启服务。
CDH5.14部署手册
CDH5.14部署手册CDH大数据集群部署手册cdh5.14版本目录一、概述 (3)二、集群部署准备 (3)1.集群硬件信息 (3)2.集群服务部署规划 (4)3.管理节点到其他节点免密钥配置 (5)4.系统优化 (5)5.时钟同步 (6)6.CDH本地yum源搭建 (9)7.MySQL主从安装配置 (9)8.创建集群各服务的数据库 (13)三、应用部署 (13)1.cloudera manager server安装 (13)2.cloudera management service安装 (18)3.hdfs安装 (19)4.zookeeper安装 (20)5.yarn安装 (20)6.hive安装 (21)7.spark安装 (21)8.hbase安装 (22)9.impala安装 (23)10.oozie安装 (24)11.sqoop安装 (25)12.sqoop2安装 (25)13.kafka安装 (25)14.kudu安装 (26)15.hue安装 (27)16.hdfs高可用 (28)17.yarn高可用 (30)18.hiveserver2负载均衡 (30)19.impalad负载均衡 (33)20.hue 配置负载均衡的hiveserver2和impala (35)四、安全部署 (35)1.Kerberos高可用安装 (35)2.集群enable Kerberos (41)3.sentry安装 (43)4.OpenLDAP安装 (46)5.Linux系统集成OpenLDAP (51)6.hue集成ldap用户同步 (54)7.hive集成LDAP认证 (57)8.impala集成LDAP认证 (57)9.LDAP图形客户端Apache Directory Studio (58)五、集群参数调优 (63)六、总结 (66)一、概述针对海尔大数据应用的需求，本文完成了CDH5.12大数据集群的部署，并记录了详细步骤。
大数据项目之CDH版数仓采集环境Hive Spark Impala Kafka Flume搭建
大数据项目之电商数仓（CDH版数仓采集）版本：V4.0第1章Cloudera Manager (6)1.1 CM简介 (6)1.1.1 CM简介 (6)1.1.2 CM架构 (6)1.2 环境准备 (7)1.2.1 虚拟机准备 (7)1.2.2 SSH免密登录 (7)1.2.3 集群同步脚本 (7)1.2.4 安装JDK（三台） (8)1.2.5 集群整体操作脚本 (8)1.2.6 安装MySQL (9)1.2.7 创建CM用的数据库 (10)1.2.8 下载第三方依赖 (11)1.2.9 关闭SELINUX (11)1.3 CM安装部署 (12)1.3.1 CM下载地址 (12)1.3.2 CM安装 (12)1.3.3 启动CM服务 (14)1.3.4 关闭CM服务 (15)1. (15)1.4.1 接受条款和协议 (15)1.4.2 选择免费 (15)1.4.3 指定主机 (16)1.4.4 选择CDH的版本5.12.1 (17)1.4.5 等待下载安装 (17)第2章数据采集模块 (18)2.1 HDFS、YARN、Zookeeper安装 (18)2.1.1 选择自定义安装 (18)2.1.2 选择安装服务 (19)2.1.3 分配节点 (19)2.1.4 集群设置全部选默认即可 (20)2.1.5 自动启动进程 (20)2.1.6 修改HDFS的权限检查配置 (20)2.1.7 配置Hadoop支持LZO (21)2.2 Flume安装 (23)2.2.1 日志采集Flume安装 (23)2.2.2 日志采集Flume配置 (25)2.2.3 Flume拦截器 (27)2.3 Kafka安装 (34)2.3.1 导入离线包 (34)2.3.2 在线下载安装包（不选） (35)2.3.3 Kafka安装 (36)kafka卸载 (40)2.3.4 查看Kafka Topic (40)2.3.6 删除Kafka Topic (41)2.3.7 生产消息 (41)2.3.8 消费消息 (41)2.3.9 查看某个Topic的详情 (41)2.4 Flume消费Kafka数据写到HDFS (42)2.5 日志生成数据传输到HDFS (44)第3章数仓搭建环境准备 (44)3.1 Hive安装 (44)3.2 Oozie安装 (49)3.2.1 添加Oozie服务 (49)3.2.2 选择集群节点 (49)3.2.3 选择有MySQL的节点安装 (50)3.2.4 链接数据库 (50)3.2.5 一路继续到完成 (51)3.3 Hue安装 (51)3.3.1 Hue概述 (51)3.3.2 安装前的准备 (51)3.3.3 HUE安装步骤 (52)第4章用户行为数仓搭建 (54)4.1 ODS层 (54)4.1.1 创建数据库 (54)4.1.2 创建启动日志表ods_start_log (55)4.1.3 ODS层加载数据脚本 (55)4.2 DWD层启动表数据解析 (56)4.2.1 创建启动表 (56)4.2.2 DWD层启动表加载数据脚本 (57)4.3 DWS层（需求：用户日活跃） (58)4.3.1 每日活跃设备明细 (58)4.3.2 DWS层加载数据脚本 (59)4.4 ADS层（需求：用户日活跃） (59)4.4.1 活跃设备数 (60)4.4.2 ADS层加载数据脚本 (60)第5章业务数仓搭建 (61)5.1 业务数据生成 (61)5.1.1 建表语句 (61)5.1.2 生成业务数据 (62)5.2 业务数据导入数仓 (63)5.2.1 Sqoop安装 (63)5.2.2 Sqoop定时导入脚本 (65)5.3 ODS层 (67)5.3.1 创建订单表 (67)5.3.2 创建订单详情表 (68)5.3.3 创建商品表 (68)5.3.5 创建商品一级分类表 (69)5.3.6 创建商品二级分类表 (69)5.3.7 创建商品三级分类表 (69)5.3.8 创建支付流水表 (69)5.3.9 ODS层数据导入脚本 (70)5.4 DWD层 (71)5.4.1 创建订单表 (71)5.4.2 创建订单详情表 (71)5.4.3 创建用户表 (71)5.4.4 创建支付流水表 (72)5.4.5 创建商品表（增加分类） (72)5.4.6 DWD层数据导入脚本 (73)5.5 DWS层之用户行为宽表 (74)5.5.1 创建用户行为宽表 (74)5.5.2 用户行为数据宽表导入脚本 (75)5.6 ADS层（需求：GMV成交总额） (76)5.6.1 建表语句 (76)5.6.2 数据导入脚本 (76)5.6.3 数据导出脚本 (77)5.7 Oozie基于Hue实现GMV指标全流程调度 (78)5.7.1 执行前的准备 (78)5.7.2 在Hue中创建Oozie任务GMV (80)5.7.3 编写任务脚本并上传到HDFS (81)5.7.4 编写任务调度 (81)5.7.5 执行任务调度 (84)第6章即席查询数仓搭建 (84)6.1 Impala安装 (84)6.1.1 添加服务 (84)6.1.2 选择Impala服务 (85)6.1.3 角色分配 (85)6.1.4 配置Impala (85)6.1.5 启动Impala (86)6.1.6 安装成功 (86)6.1.7 配置Hue支持Impala (87)6.2 Impala基于Hue查询 (87)第7章Spark2.1安装 (87)7.1 升级过程 (87)7.1.1 离线包下载 (87)7.1.2 离线包上传 (88)7.2 页面操作 (89)7.1 更新Parcel (89)7.2 点击分配 (89)7.3 点击激活 (90)7.5 点击Spark2继续 (91)7.6 选择一组依赖关系 (91)7.7 角色分配 (91)7.8 部署并启动 (92)7.9 命令行查看命令 (93)第1章Cloudera Manager1.1 CM简介1.1.1 CM简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
cloudera manage简单使用
cloudera manage简单使用一、首页使用admin/admin登陆后，便可看到此页面：此页面展示了所有已启动的服务以及集群的性能监控信息。
我们这个集群环境的版本是CDH5.0.0的，我们也可以使用cm 进行在线升级。
二、主机点击状态下的主机，可以看到：这里，我们可以看到所有的节点信息以及它上面所拥有的角色和它的状态等信息。
然后，我们点击“Parcel”可以看到：这里我们可以下载某些包，对我们的环境或某个服务进行升级。
三、YARN点击状态下的YARN可以看到：yarn是hadoop2.x中引入的，在上面可以运行MR以及其他的服务。
web ui提供了两个图形界面，首先，我们看下jobHistoryUI，如下：这个就是MR默认的job运行记录。
再来看看resourceManagerUI，如下：这个是YARN提供的application运行记录。
四、hbasehbase是一种提供列式存储结构的服务。
我们点击hbase，可以看到：我们可以在状态摘要看到，hbase安装后拥有的服务。
同时，也可以通过此图形化界面进行一些相关的配置。
接下来我们看看table statistic，如下：这里展示了hbase中表的统计信息。
然后，我们看看hbase web ui，可以看到：我们可以看到表的列族等信息。
五、hdfshdfs，大数据分布式文件系统，进入后，可看到：我们可以看到hdfs的容量状况，读写的情况。
另外，我们进入主节点NameNode,可以浏览hdfs中的文件信息，可看到：六、hivehive是大数据仓库，点击进入，便可看到：目前，hive好像还没提供一些对表数据的图形化界面，这里就简单看一下。
七、impala记得之前讲过impala与hive的区别，一个是在内存中运算，用于实时查询，另一个是启动MR运算，用于离线查询。
进入impala，可以看到：另外，我们可以点击查询，可以看到我们在impala-shell执行过的所有命令，如下：八、zookeeperzookeeper，动物管理，起到协调作用。
Cloudera大数据平台环境搭建
3 reboot
第16页
Cloudera大数据平台环境搭建-系统环境
系统参数 已启用透明大页面压缩，可能会导致重大性能问题。请运行： echo 10 > /proc/sys/vm/swappiness echo 'vm.swappiness=10'>> /etc/sysctl.conf echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件
），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的
提高了集群管理的效率。
CDH体系架构
批处理 （M/R，Hive，Pig）
数据分析 （Impala）
搜索引擎
流处理
机器学习（Spark、
第18页
Cloudera大数据平台环境搭建-数据库环境
本节主要统一介绍与数据库相关组件的安装，便于统一规划，因为这些组件在安装、应用过程中都有 关联，这节配置基本与后续的数据库配置页面相关，随后再提，现在有个准备，保留。
数据库环境
1、 JDK
2、Mysql
3、JDBC
4、创建数据库
第19页
cdh运维手册
cdh运维手册摘要：一、前言二、CDH概述1.CDH的定义2.CDH的组成3.CDH的功能三、CDH的安装与配置1.安装环境准备2.安装过程详解3.配置CDH四、CDH的运维管理1.监控CDH2.维护CDH3.备份与恢复CDH五、CDH的常见问题及解决方法六、CDH的安全策略七、CDH的优化与调优八、总结与展望正文：一、前言随着大数据时代的到来，数据处理和存储的需求日益增长。
Cloudera Data Platform（CDH）是一个开源的、完整的、高度可扩展的大数据平台，为企业提供了数据采集、存储、处理、分析和应用等功能。
为了帮助用户更好地使用CDH，本文将详细介绍CDH的运维管理方法。
二、CDH概述1.CDH的定义Cloudera Data Platform（CDH）是Cloudera公司推出的一款大数据平台，它包含了Hadoop、Hive、HBase、Spark等众多大数据组件，为用户提供了一整套大数据解决方案。
2.CDH的组成CDH主要由以下几个组件构成：（1）Hadoop：分布式存储和计算框架（2）Hive：数据仓库工具（3）HBase：分布式NoSQL数据库（4）Spark：大规模数据处理框架（5）其他组件：如Impala、Presto、Sentry等3.CDH的功能CDH提供了数据存储、数据处理、数据分析和数据应用等功能，适用于企业级大数据应用场景。
三、CDH的安装与配置1.安装环境准备（1）硬件环境：CPU、内存、磁盘空间等（2）软件环境：操作系统、Java等2.安装过程详解（1）下载CDH安装包（2）解压安装包（3）配置CDH（4）启动CDH服务（5）验证CDH安装成功3.配置CDH（1）配置Hadoop（2）配置Hive（3）配置HBase（4）配置其他组件四、CDH的运维管理1.监控CDH（1）性能监控（2）状态监控（3）日志监控2.维护CDH（1）升级CDH组件（2）优化CDH配置（3）处理故障3.备份与恢复CDH（1）备份策略（2）备份工具（3）恢复过程五、CDH的常见问题及解决方法1.Hadoop组件问题2.Hive组件问题3.HBase组件问题4.Spark组件问题六、CDH的安全策略1.访问控制2.数据加密3.审计与日志4.安全组件七、CDH的优化与调优1.Hadoop性能优化2.Hive性能优化3.HBase性能优化4.Spark性能优化八、总结与展望本文详细介绍了CDH的运维管理方法，包括安装与配置、监控与维护、备份与恢复、安全策略以及优化与调优等内容，希望对CDH用户有所帮助。
cloudera data platform使用
cloudera data platform使用（原创版）目录1.Cloudera Data Platform 简介2.Cloudera Data Platform 的主要组件3.Cloudera Data Platform 的应用场景4.Cloudera Data Platform 的优势与不足5.总结正文【1.Cloudera Data Platform 简介】Cloudera Data Platform（CDP）是 Cloudera 公司推出的一款大数据平台，它集成了数据存储、数据处理、数据分析和机器学习等多种功能，帮助企业实现数据的采集、存储、处理、分析和应用。
CDP 的目标是让企业能够更加高效地管理和利用海量数据，从而实现数据驱动的业务决策。
【2.Cloudera Data Platform 的主要组件】CDP 由以下几个主要组件构成：1.Cloudera Manager：Cloudera Manager 是 CDP 的管理界面，通过它，用户可以对整个平台进行监控、管理和配置。
2.Cloudera Data Platform (CDH)：CDH 是 CDP 的核心组件，它集成了 Hadoop、Spark、Hive、Pig、Flink 等大数据处理技术，提供了丰富的数据处理和分析功能。
3.Cloudera Data Warehouse (CDW)：CDW 是 CDP 的数据仓库组件，它提供了高效的数据存储和查询功能，支持 SQL 查询和机器学习模型的训练。
4.Cloudera Analytics Platform (CAP)：CAP 是 CDP 的数据分析和机器学习组件，它提供了可视化的数据分析工具和丰富的机器学习算法，支持实时和离线的数据分析。
5.Cloudera Collaborative Data Platform (CCP)：CCP 是 CDP 的数据共享和协作组件，它提供了安全的数据共享和协作功能，支持多种数据格式和协议。
CDH大数据集群环境搭建步骤
4、检查swappiness不能超过10cat /proc/sys/vm/swappiness如果超过10运行时执行echo 0 > /proc/sys/vm/swappiness保持重启之后继续生效vim /etc/sysctl.confvm.swappiness=05、设置下面内容echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled为了重启之后也生效vim /etc/rc.local添加：echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled二、安装准备1、准备cm包1、将cm包放到安装http服务的节点mkdir /opt/cmallkeys.asccloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-server-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpmoracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm2、创建本地yum仓库createrepo .若createrepo命令未发现，需要安装createrepoyum -y install createrepo再次执行createrepo .3、在/etc/yum.repo.d/目录下增加cm.repo文件vim /etc/yum.repos.d/cm.repo添加以下内容：[cmrepo]name=CMbaseurl=http://hostname:9052/cmgpgcheck=falseenabled=true4、验证CM源是否配置成功yum repolist5、将cm.repo分发到其余各节点2、准备cdh parcel包1、mkdir/opt/cdh将parcel包放到文件夹CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcelCDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256manifest.json2、mkdir/opt/cdh/flink将flink parcel包放到该文件下FLINK-1.13.3-bin-scala-2.11-el7.parcelFLINK-1.13.3-bin-scala-2.11-el7.parcel.shamanifest.json3、将FLINK_ON_YARN-1.13.3.jar放到cm节点的/opt/cloudera/csd并修改文件夹权限sudo chown cloudera-scm:cloudera-scm/opt/cloudera/*3、在mysql创建数据库和用户并授权#scmCREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'scm'@'%' IDENTIFIED BY'password';GRANT ALL ON scm.* TO 'scm'@'%' ;FLUSH PRIVILEGES;#Activity MonitorCREATE DATABASE am DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'am'@'%' IDENTIFIED BY'password';GRANT ALL ON am.* TO 'am'@'%';FLUSH PRIVILEGES;#Reports ManagerCREATE DATABASE rm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'rm'@'%' IDENTIFIED BY'password';GRANT ALL ON rm.* TO 'rm'@'%' ;FLUSH PRIVILEGES;#HueCREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'hue'@'%' IDENTIFIED BY'password';GRANT ALL ON hue.* TO 'hue'@'%';FLUSH PRIVILEGES;#HiveCREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'hive'@'%' IDENTIFIED BY'password';GRANT ALL ON hive.* TO 'hive'@'%' ;FLUSH PRIVILEGES;#OozieCREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'oozie'@'%' IDENTIFIED BY'password';GRANT ALL ON oozie.* TO 'oozie'@'%' ;FLUSH PRIVILEGES;4、在cm节点配置jdbc驱动# mkdir -p /usr/share/java# mv mysql-connector-java-5.1.34.jar/usr/share/java/# cd /usr/share/java/# ln -s mysql-connector-java-5.1.34.jar mysql-connector-java.jar5、如果cms节点的/usr/java/default/下没有jdk，用下面方式安装yum -y install oracle-j2sdk1.8-1.8.0+update181-1三、安装1、安装 cloudera-manager-serveryum -y install cloudera-manager-server2、初始化cm数据库/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm password3、启动cm serversystemctl start cloudera-scm-server4、访问7180端口， admin admin配置parcel 路径：http://hostname:9052/cdh。
ClouderaManager大数据平台部署指南
ClouderaManager大数据平台部署指南一、简介ClouderaManager是一款用于管理和监控大数据平台的工具，它提供了一套集中式的管理界面，可以帮助用户轻松部署、配置和监控大数据集群。
本文将详细介绍ClouderaManager的部署过程，包括环境准备、安装步骤和常见问题解决方法。
二、环境准备1. 操作系统要求ClouderaManager支持多种操作系统，包括CentOS、Red Hat Enterprise Linux、Ubuntu等。
在开始部署之前，请确保您的操作系统符合ClouderaManager的要求，并已经完成了基本的系统设置。
2. 硬件要求为了保证ClouderaManager的性能和稳定性，建议您在部署之前对硬件进行评估，并选择合适的硬件配置。
通常情况下，建议至少具备以下硬件配置：- CPU：双核或更高- 内存：8GB或更高- 硬盘：至少100GB的可用空间3. 网络要求ClouderaManager需要与集群中的各个节点进行通信，因此请确保网络连通性良好，并且所有节点都能够访问ClouderaManager的管理界面。
4. 软件要求在开始部署之前，您需要安装以下软件：- Java Development Kit (JDK)：ClouderaManager需要JDK来运行，请确保您已经安装了适当版本的JDK。
- 数据库：ClouderaManager需要一个数据库来存储配置信息和监控数据。
常见的选择包括MySQL、PostgreSQL等。
三、安装步骤1. 下载ClouderaManager首先，您需要从Cloudera官方网站上下载ClouderaManager的安装包。
请确保您选择了与您操作系统版本相对应的安装包。
2. 安装ClouderaManager Server在安装ClouderaManager Server之前，请确保您已经满足了所有的环境准备要求。
接下来，您可以按照以下步骤来安装ClouderaManager Server：- 解压安装包：使用适当的命令解压下载的安装包。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Cloudera大数据平台环境搭建（CDH5.13.1版）目录Cloudera大数据平台环境搭建 (1)（CDH5.13.1版） (1)1.基础环境 (4)1.1.软件环境 (4)1.2.配置规划 (4)1.3.所需要的软件资源 (4)1.4.修改机器名（所有节点） (5)1.5.设置防火墙（所有节点） (5)1.6.配置免密码登录SSH (6)1.7.关闭SELINUX（所有节点） (8)1.8.修改Linux核参数（所有节点） (8)1.9.其他安装与配置（所有节点） (10)1.10.配置NTP服务 (10)1.11.安装oracle JDK1.8 （所有节点） (12)1.12.Mysql安装（主节点） (13)2.安装CM (15)2.1.传包，解包 (15)2.2.创建数据库 (15)2.3.创建用户 (16)2.4.制作本地YUM源 (16)2.5.拷贝jar包 (17)2.6.修改cloudera-scm-agent配置 (17)2.7.启动CM Server和Agent (18)2.8.访问CM (18)3.安装CDH (18)3.1.登录后界面 (18)3.2.选择CM版本 (19)3.3.指定主机 (20)3.4.选择CDH版本 (21)3.4.1.出现“主机运行状态不良”错误 (22)3.5.检查主机正确性 (23)3.6.选择安装的服务 (23)3.7.角色分配 (24)3.8.数据库设置 (24)3.8.1.测试连接报错： (25)3.9.群集设置 (26)3.10.开始安装 (28)3.11.安装完成 (29)3.11.1.警告信息： (29)4.常见错误 (31)4.1.初始化数据库错误： (31)4.2.未能连接到Host Monitor (32)1.基础环境1.1.软件环境1.2.配置规划1.3.所需要的软件资源1)JDK环境：JDK版本：1.8.0_151jdk-8u151-linux-x64.rpm下载地址：.oracle./technetwork/java/javase/downloads/jdk8-downloads-2133151.html2)CM包：CM版本：5.13.1cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz下载地址：archive-primary.cloudera./cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz3)CDH包CDH版本：5.13.1，CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel；CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1；manifest.json下载地址：archive-primary.cloudera./cdh5/parcels/5.13.1/manifest.jsonarchive-primary.cloudera./cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.s ha1archive-primary.cloudera./cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel4)JDBC连接jar包：jar包版本：5.1.43，mysql-connector-java-5.1.43.jar下载地址：/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar 1.4.修改机器名（所有节点）1.5.设置防火墙（所有节点）注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。
方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。
1.6.配置免密码登录SSH将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问题）然后在node169服务器上，把公钥的容追加到authorized_keys文件末尾（这个文件也在隐藏文在node168节点出现下面表示成功登录node169节点：以同样的方式将公钥拷贝至其他节点服务器上。
1.7.关闭SELINUX（所有节点）1.8.修改Linux核参数（所有节点）为避免安装过程中出现的异常问题，首先调整Linux核参数。
1)设置swappiness，控制换出运行时存的相对权重，Cloudera 建议将swappiness 设置为自CentOS6版本开始引入了Transparent Huge Pages(THP)，从CentOS7版本开始，该特性默认就会启用。
尽管THP的本意是为提升存的性能，不过某些数据库厂商还是建议直接关闭THP，否则可能会导致性能出现下降。
表示已禁用：3)修改文件句柄数：1.9.其他安装与配置（所有节点）1.10.配置NTP服务集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。
具体建设过程如下：1)查找时间同步服务器/zone/asia：打开网址，容如下：以面表明，chronyd显示为开机启动状态。
chronydNTP客户端（所有从节点）：1.11.安装oracle JDK1.8 （所有节点）下载rpm 安装包jdk-8u151-linux-x64.rpm1.12.Mysql安装（主节点）到官网https://dev.mysql./downloads/file/?id=469456选择对应安装包：5)修改MySQL初始密码1、先修改配置文件/etc/f令MySQL跳过登录时的权限检验，在[mysqld]下加入一行：skip-grant-tables2、重启MySQL#service mysqld restart3、免密码登录MySQL。
#mysql4、mysql客户端执行如下命令，修改root密码mysql> use mysql;mysql> UPDATE user SET authentication_string = password('your-password') WHERE host = 'localhost' AND user = 'root';mysql> select host,user,authentication_string, password_expired from user;mysql> update user set password_expired='N' where password_expired='Y' //密码不过期mysql> update user set host='%' where user='root' and host='localhost'; //远程可访问mysql> flush privileges; //刷新mysql> exit;//退出5、修改配置文件/etc/f删除此前新增那一行skip-grant-tables，并重启MySQL(这一步非常重要，不执行可能导致严重的安全问题)#service mysqld restart //重启Mysql2.安装CM2.1.传包，解包2.2.创建数据库在主节点上：# mysql -h127.0.0.1 -uroot -p //加参数-h127.0.0.1 指定本机方式，否则可能不允许执行grantEnter password: \\输入数据库密码//在MariaDB [(none)]>命令状态输入下面脚本：create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;grant all privileges on *.* to rootlocalhost identified by 'root' with grant option;grant all on *.* to root"%" Identified by "root";flush privileges;exit;//复制Mysql JDBC包到/opt/cm-5.13.1/share/cmf/lib/目录#cp mysql-connector-java-5.1.43-bin.jar /opt/cm-5.13.1/share/cmf/lib///初始化CM，执行下面脚本#/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode168 -uroot -proot --scm-host node168 scm scm scm//如果出现下面错误：java.sql.SQLException: Access denied for user 'root''localhost' (using password: YES)//解决办法：在/etc/hosts 文件中，加上127.0.0.1 localhost.node168主节点/etc/hosts容：脚本/scm_prepare_database.sh 执行成功界面：2.3.创建用户2.4.制作本地YUM源2.5.拷贝jar包2.6.修改cloudera-scm-agent配置2.7.启动CM Server和Agent2.8.访问CM地址：主节点IP:7180用户名、密码：admin3.安装CDH3.1.登录后界面接受协议：3.2.选择CM版本本文档选择Cloudera Express免费版。
3.3.指定主机在搜索主机名和IP地址框输入node[169-172]，这里输入的容支持正则表达式。