cloudera大数据平台环境搭建cdh傻瓜式说明书
cdh运维手册
cdh运维手册CDH运维手册是一份详细介绍CDH（Cloudera Distribution of Hadoop）运维过程的指南。
本文旨在帮助运维人员更好地掌握CDH的部署、管理、维护及优化方法，以确保集群稳定高效运行。
I.引言CDH是基于Apache Hadoop的分布式大数据处理平台，包括Hadoop、Spark、Hive、Pig等组件。
在实际应用中，CDH面临着复杂的运维挑战。
为了提高运维效率，降低故障风险，我们需要深入了解CDH的运维流程。
II.CDH简介CDH（Cloudera Distribution of Hadoop）是Cloudera公司推出的一款大数据处理平台。
它包含了Hadoop的核心组件，如HDFS、YARN、MapReduce等，以及一系列数据处理工具，如Spark、Hive、Pig等。
CDH 提供了一整套大数据解决方案，满足企业在数据存储、分析、挖掘等方面的需求。
III.CDH运维流程A.环境搭建：根据业务需求，选择合适的硬件资源、网络环境和操作系统。
搭建CDH集群，包括配置核心组件和相关工具。
B.数据迁移：将原始数据迁移至CDH集群，根据数据特点选择合适的存储格式和压缩算法。
C.运维管理：监控CDH集群的运行状态，包括资源使用情况、任务进度、日志等。
定期进行性能评估，优化集群配置。
D.故障排查：遇到问题时，快速定位故障原因，采取相应措施进行解决。
E.性能优化：针对CDH集群的性能瓶颈，采取调整参数、优化任务流程等措施，提高集群性能。
F.安全防护：确保CDH集群的安全性，防范外部攻击和内部安全风险。
IV.运维工具与技巧A.常用工具：掌握CDH运维过程中所需的常用工具，如Hadoop DistCp、Hive Query、Spark Submission等。
B.自动化脚本：编写自动化脚本，实现批量任务调度、日志收集、性能监控等功能。
C.监控与报警：搭建CDH集群监控系统，实现实时报警，确保问题及时发现并处理。
Cloudera Manager大数据平台运维操作指南
Cloudera Manager大数据平台运维操作指南1登录Cloudera Manager首页使用谷歌或者火狐浏览器输入http://172.31.0.29:7180 进入Cloudera Manager管理系统登录页面，172.31.0.29为安装Cloudera Manage的机器IP地址，在BI集群里恰好是YUCLIENT的IP地址。
使用admin/admin登录到系统，如下图所示：2启动/停止/重启Cloudera Management Service2.1启动2.2重启2.3停止3启动/停止/重启Hadoop所有服务在启动Hadoop相关服务器前请务必保证已经启动了Cloudera Management Service相关服务！3.1启动当所有服务都启动成功后，各项服务均显示问绿灯状态才为正常，如下图所示：4启动/停止/重启Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper 这里以重启HDFS服务为例，其他服务与之完全相同。
5启动/停止/重启单个节点上的Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper启动/停止/重启节点上的单个服务包括Namenode, Datanode, Hive Server, Hive Metastore, Resource Manager, Nodemanager, Zookeeper等。
这里以重启一台节点上的Datanode服务为例进行说明，启动或停止与之相同，其他服务的操作也与之相同。
等待重启成功，该操作完成。
6修改HDFS、Hive、MapReduce、ZooKeeper等配置参数修改参数包括修改全局参数以及单个节点的某个参数，全局参数指针对整个集群所有节点适用的参数。
下一章会介绍如何修改单个节点的参数。
这里以修改HDFS的blocksize为例进行说明，其他参数修改与之相同。
修改参数并保存修改成功后回到CM主页面，CM会提示是否需要部署客户端配置或者重启服务。
CDH5.14部署手册
CDH5.14部署手册CDH大数据集群部署手册cdh5.14版本目录一、概述 (3)二、集群部署准备 (3)1.集群硬件信息 (3)2.集群服务部署规划 (4)3.管理节点到其他节点免密钥配置 (5)4.系统优化 (5)5.时钟同步 (6)6.CDH本地yum源搭建 (9)7.MySQL主从安装配置 (9)8.创建集群各服务的数据库 (13)三、应用部署 (13)1.cloudera manager server安装 (13)2.cloudera management service安装 (18)3.hdfs安装 (19)4.zookeeper安装 (20)5.yarn安装 (20)6.hive安装 (21)7.spark安装 (21)8.hbase安装 (22)9.impala安装 (23)10.oozie安装 (24)11.sqoop安装 (25)12.sqoop2安装 (25)13.kafka安装 (25)14.kudu安装 (26)15.hue安装 (27)16.hdfs高可用 (28)17.yarn高可用 (30)18.hiveserver2负载均衡 (30)19.impalad负载均衡 (33)20.hue 配置负载均衡的hiveserver2和impala (35)四、安全部署 (35)1.Kerberos高可用安装 (35)2.集群enable Kerberos (41)3.sentry安装 (43)4.OpenLDAP安装 (46)5.Linux系统集成OpenLDAP (51)6.hue集成ldap用户同步 (54)7.hive集成LDAP认证 (57)8.impala集成LDAP认证 (57)9.LDAP图形客户端Apache Directory Studio (58)五、集群参数调优 (63)六、总结 (66)一、概述针对海尔大数据应用的需求，本文完成了CDH5.12大数据集群的部署，并记录了详细步骤。
大数据项目之CDH版数仓采集环境Hive Spark Impala Kafka Flume搭建
大数据项目之电商数仓（CDH版数仓采集）版本：V4.0第1章Cloudera Manager (6)1.1 CM简介 (6)1.1.1 CM简介 (6)1.1.2 CM架构 (6)1.2 环境准备 (7)1.2.1 虚拟机准备 (7)1.2.2 SSH免密登录 (7)1.2.3 集群同步脚本 (7)1.2.4 安装JDK（三台） (8)1.2.5 集群整体操作脚本 (8)1.2.6 安装MySQL (9)1.2.7 创建CM用的数据库 (10)1.2.8 下载第三方依赖 (11)1.2.9 关闭SELINUX (11)1.3 CM安装部署 (12)1.3.1 CM下载地址 (12)1.3.2 CM安装 (12)1.3.3 启动CM服务 (14)1.3.4 关闭CM服务 (15)1. (15)1.4.1 接受条款和协议 (15)1.4.2 选择免费 (15)1.4.3 指定主机 (16)1.4.4 选择CDH的版本5.12.1 (17)1.4.5 等待下载安装 (17)第2章数据采集模块 (18)2.1 HDFS、YARN、Zookeeper安装 (18)2.1.1 选择自定义安装 (18)2.1.2 选择安装服务 (19)2.1.3 分配节点 (19)2.1.4 集群设置全部选默认即可 (20)2.1.5 自动启动进程 (20)2.1.6 修改HDFS的权限检查配置 (20)2.1.7 配置Hadoop支持LZO (21)2.2 Flume安装 (23)2.2.1 日志采集Flume安装 (23)2.2.2 日志采集Flume配置 (25)2.2.3 Flume拦截器 (27)2.3 Kafka安装 (34)2.3.1 导入离线包 (34)2.3.2 在线下载安装包（不选） (35)2.3.3 Kafka安装 (36)kafka卸载 (40)2.3.4 查看Kafka Topic (40)2.3.6 删除Kafka Topic (41)2.3.7 生产消息 (41)2.3.8 消费消息 (41)2.3.9 查看某个Topic的详情 (41)2.4 Flume消费Kafka数据写到HDFS (42)2.5 日志生成数据传输到HDFS (44)第3章数仓搭建环境准备 (44)3.1 Hive安装 (44)3.2 Oozie安装 (49)3.2.1 添加Oozie服务 (49)3.2.2 选择集群节点 (49)3.2.3 选择有MySQL的节点安装 (50)3.2.4 链接数据库 (50)3.2.5 一路继续到完成 (51)3.3 Hue安装 (51)3.3.1 Hue概述 (51)3.3.2 安装前的准备 (51)3.3.3 HUE安装步骤 (52)第4章用户行为数仓搭建 (54)4.1 ODS层 (54)4.1.1 创建数据库 (54)4.1.2 创建启动日志表ods_start_log (55)4.1.3 ODS层加载数据脚本 (55)4.2 DWD层启动表数据解析 (56)4.2.1 创建启动表 (56)4.2.2 DWD层启动表加载数据脚本 (57)4.3 DWS层（需求：用户日活跃） (58)4.3.1 每日活跃设备明细 (58)4.3.2 DWS层加载数据脚本 (59)4.4 ADS层（需求：用户日活跃） (59)4.4.1 活跃设备数 (60)4.4.2 ADS层加载数据脚本 (60)第5章业务数仓搭建 (61)5.1 业务数据生成 (61)5.1.1 建表语句 (61)5.1.2 生成业务数据 (62)5.2 业务数据导入数仓 (63)5.2.1 Sqoop安装 (63)5.2.2 Sqoop定时导入脚本 (65)5.3 ODS层 (67)5.3.1 创建订单表 (67)5.3.2 创建订单详情表 (68)5.3.3 创建商品表 (68)5.3.5 创建商品一级分类表 (69)5.3.6 创建商品二级分类表 (69)5.3.7 创建商品三级分类表 (69)5.3.8 创建支付流水表 (69)5.3.9 ODS层数据导入脚本 (70)5.4 DWD层 (71)5.4.1 创建订单表 (71)5.4.2 创建订单详情表 (71)5.4.3 创建用户表 (71)5.4.4 创建支付流水表 (72)5.4.5 创建商品表（增加分类） (72)5.4.6 DWD层数据导入脚本 (73)5.5 DWS层之用户行为宽表 (74)5.5.1 创建用户行为宽表 (74)5.5.2 用户行为数据宽表导入脚本 (75)5.6 ADS层（需求：GMV成交总额） (76)5.6.1 建表语句 (76)5.6.2 数据导入脚本 (76)5.6.3 数据导出脚本 (77)5.7 Oozie基于Hue实现GMV指标全流程调度 (78)5.7.1 执行前的准备 (78)5.7.2 在Hue中创建Oozie任务GMV (80)5.7.3 编写任务脚本并上传到HDFS (81)5.7.4 编写任务调度 (81)5.7.5 执行任务调度 (84)第6章即席查询数仓搭建 (84)6.1 Impala安装 (84)6.1.1 添加服务 (84)6.1.2 选择Impala服务 (85)6.1.3 角色分配 (85)6.1.4 配置Impala (85)6.1.5 启动Impala (86)6.1.6 安装成功 (86)6.1.7 配置Hue支持Impala (87)6.2 Impala基于Hue查询 (87)第7章Spark2.1安装 (87)7.1 升级过程 (87)7.1.1 离线包下载 (87)7.1.2 离线包上传 (88)7.2 页面操作 (89)7.1 更新Parcel (89)7.2 点击分配 (89)7.3 点击激活 (90)7.5 点击Spark2继续 (91)7.6 选择一组依赖关系 (91)7.7 角色分配 (91)7.8 部署并启动 (92)7.9 命令行查看命令 (93)第1章Cloudera Manager1.1 CM简介1.1.1 CM简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
cloudera manage简单使用
cloudera manage简单使用一、首页使用admin/admin登陆后，便可看到此页面：此页面展示了所有已启动的服务以及集群的性能监控信息。
我们这个集群环境的版本是CDH5.0.0的，我们也可以使用cm 进行在线升级。
二、主机点击状态下的主机，可以看到：这里，我们可以看到所有的节点信息以及它上面所拥有的角色和它的状态等信息。
然后，我们点击“Parcel”可以看到：这里我们可以下载某些包，对我们的环境或某个服务进行升级。
三、YARN点击状态下的YARN可以看到：yarn是hadoop2.x中引入的，在上面可以运行MR以及其他的服务。
web ui提供了两个图形界面，首先，我们看下jobHistoryUI，如下：这个就是MR默认的job运行记录。
再来看看resourceManagerUI，如下：这个是YARN提供的application运行记录。
四、hbasehbase是一种提供列式存储结构的服务。
我们点击hbase，可以看到：我们可以在状态摘要看到，hbase安装后拥有的服务。
同时，也可以通过此图形化界面进行一些相关的配置。
接下来我们看看table statistic，如下：这里展示了hbase中表的统计信息。
然后，我们看看hbase web ui，可以看到：我们可以看到表的列族等信息。
五、hdfshdfs，大数据分布式文件系统，进入后，可看到：我们可以看到hdfs的容量状况，读写的情况。
另外，我们进入主节点NameNode,可以浏览hdfs中的文件信息，可看到：六、hivehive是大数据仓库，点击进入，便可看到：目前，hive好像还没提供一些对表数据的图形化界面，这里就简单看一下。
七、impala记得之前讲过impala与hive的区别，一个是在内存中运算，用于实时查询，另一个是启动MR运算，用于离线查询。
进入impala，可以看到：另外，我们可以点击查询，可以看到我们在impala-shell执行过的所有命令，如下：八、zookeeperzookeeper，动物管理，起到协调作用。
Cloudera大数据平台环境搭建
3 reboot
第16页
Cloudera大数据平台环境搭建-系统环境
系统参数 已启用透明大页面压缩，可能会导致重大性能问题。请运行： echo 10 > /proc/sys/vm/swappiness echo 'vm.swappiness=10'>> /etc/sysctl.conf echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件
），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的
提高了集群管理的效率。
CDH体系架构
批处理 （M/R，Hive，Pig）
数据分析 （Impala）
搜索引擎
流处理
机器学习（Spark、
第18页
Cloudera大数据平台环境搭建-数据库环境
本节主要统一介绍与数据库相关组件的安装，便于统一规划，因为这些组件在安装、应用过程中都有 关联，这节配置基本与后续的数据库配置页面相关，随后再提，现在有个准备，保留。
数据库环境
1、 JDK
2、Mysql
3、JDBC
4、创建数据库
第19页
cdh运维手册
cdh运维手册摘要：一、前言二、CDH概述1.CDH的定义2.CDH的组成3.CDH的功能三、CDH的安装与配置1.安装环境准备2.安装过程详解3.配置CDH四、CDH的运维管理1.监控CDH2.维护CDH3.备份与恢复CDH五、CDH的常见问题及解决方法六、CDH的安全策略七、CDH的优化与调优八、总结与展望正文：一、前言随着大数据时代的到来，数据处理和存储的需求日益增长。
Cloudera Data Platform（CDH）是一个开源的、完整的、高度可扩展的大数据平台，为企业提供了数据采集、存储、处理、分析和应用等功能。
为了帮助用户更好地使用CDH，本文将详细介绍CDH的运维管理方法。
二、CDH概述1.CDH的定义Cloudera Data Platform（CDH）是Cloudera公司推出的一款大数据平台，它包含了Hadoop、Hive、HBase、Spark等众多大数据组件，为用户提供了一整套大数据解决方案。
2.CDH的组成CDH主要由以下几个组件构成：（1）Hadoop：分布式存储和计算框架（2）Hive：数据仓库工具（3）HBase：分布式NoSQL数据库（4）Spark：大规模数据处理框架（5）其他组件：如Impala、Presto、Sentry等3.CDH的功能CDH提供了数据存储、数据处理、数据分析和数据应用等功能，适用于企业级大数据应用场景。
三、CDH的安装与配置1.安装环境准备（1）硬件环境：CPU、内存、磁盘空间等（2）软件环境：操作系统、Java等2.安装过程详解（1）下载CDH安装包（2）解压安装包（3）配置CDH（4）启动CDH服务（5）验证CDH安装成功3.配置CDH（1）配置Hadoop（2）配置Hive（3）配置HBase（4）配置其他组件四、CDH的运维管理1.监控CDH（1）性能监控（2）状态监控（3）日志监控2.维护CDH（1）升级CDH组件（2）优化CDH配置（3）处理故障3.备份与恢复CDH（1）备份策略（2）备份工具（3）恢复过程五、CDH的常见问题及解决方法1.Hadoop组件问题2.Hive组件问题3.HBase组件问题4.Spark组件问题六、CDH的安全策略1.访问控制2.数据加密3.审计与日志4.安全组件七、CDH的优化与调优1.Hadoop性能优化2.Hive性能优化3.HBase性能优化4.Spark性能优化八、总结与展望本文详细介绍了CDH的运维管理方法，包括安装与配置、监控与维护、备份与恢复、安全策略以及优化与调优等内容，希望对CDH用户有所帮助。
cloudera data platform使用
cloudera data platform使用（原创版）目录1.Cloudera Data Platform 简介2.Cloudera Data Platform 的主要组件3.Cloudera Data Platform 的应用场景4.Cloudera Data Platform 的优势与不足5.总结正文【1.Cloudera Data Platform 简介】Cloudera Data Platform（CDP）是 Cloudera 公司推出的一款大数据平台，它集成了数据存储、数据处理、数据分析和机器学习等多种功能，帮助企业实现数据的采集、存储、处理、分析和应用。
CDP 的目标是让企业能够更加高效地管理和利用海量数据，从而实现数据驱动的业务决策。
【2.Cloudera Data Platform 的主要组件】CDP 由以下几个主要组件构成：1.Cloudera Manager：Cloudera Manager 是 CDP 的管理界面，通过它，用户可以对整个平台进行监控、管理和配置。
2.Cloudera Data Platform (CDH)：CDH 是 CDP 的核心组件，它集成了 Hadoop、Spark、Hive、Pig、Flink 等大数据处理技术，提供了丰富的数据处理和分析功能。
3.Cloudera Data Warehouse (CDW)：CDW 是 CDP 的数据仓库组件，它提供了高效的数据存储和查询功能，支持 SQL 查询和机器学习模型的训练。
4.Cloudera Analytics Platform (CAP)：CAP 是 CDP 的数据分析和机器学习组件，它提供了可视化的数据分析工具和丰富的机器学习算法，支持实时和离线的数据分析。
5.Cloudera Collaborative Data Platform (CCP)：CCP 是 CDP 的数据共享和协作组件，它提供了安全的数据共享和协作功能，支持多种数据格式和协议。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Cloudera大数据平台环境搭建（版）
目录
基础环境
软件环境
配置规划
所需要的软件资源
1)JDK环境：
51
下载地址：
2)CM包：
CM版本：下载地址：
3)CDH包
CDH版本：，
；
.sha1；
下载地址：
4)JDBC连接jar包：
jar包版本：，
下载地址：
修改机器名（所有节点）
了。
在node168节点出现下面表示成功登录node169节点：
以同样的方式将公钥拷贝至其他节点服务器上。
关闭SELINUX（所有节点）
修改Linux内核参数（所有节点）
为避免安装过程中出现的异常问题，首先调整Linux内核参数。
1)设置swappiness，控制换出运行时内存的相对权重，Cloudera建议将swappiness
设置为10：
//查看文件句柄数，显示1024，显然太小
#ulimit-n
1024
//修改限制
#vi/etc/security/
//在文件后加入下面内容：
*softnofile100000
*hardnofile100000
注：按照上面过程操作，但问题依然存在，后来通过用节中“主机运行状态不良”故障问题解决办法，问题得到解决。