ClouderaManager大数据平台部署指南
Cloudera Manager大数据平台运维操作指南
Cloudera Manager大数据平台运维操作指南1登录Cloudera Manager首页使用谷歌或者火狐浏览器输入http://172.31.0.29:7180 进入Cloudera Manager管理系统登录页面，172.31.0.29为安装Cloudera Manage的机器IP地址，在BI集群里恰好是YUCLIENT的IP地址。
使用admin/admin登录到系统，如下图所示：2启动/停止/重启Cloudera Management Service2.1启动2.2重启2.3停止3启动/停止/重启Hadoop所有服务在启动Hadoop相关服务器前请务必保证已经启动了Cloudera Management Service相关服务！3.1启动当所有服务都启动成功后，各项服务均显示问绿灯状态才为正常，如下图所示：4启动/停止/重启Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper 这里以重启HDFS服务为例，其他服务与之完全相同。
5启动/停止/重启单个节点上的Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper启动/停止/重启节点上的单个服务包括Namenode, Datanode, Hive Server, Hive Metastore, Resource Manager, Nodemanager, Zookeeper等。
这里以重启一台节点上的Datanode服务为例进行说明，启动或停止与之相同，其他服务的操作也与之相同。
等待重启成功，该操作完成。
6修改HDFS、Hive、MapReduce、ZooKeeper等配置参数修改参数包括修改全局参数以及单个节点的某个参数，全局参数指针对整个集群所有节点适用的参数。
下一章会介绍如何修改单个节点的参数。
这里以修改HDFS的blocksize为例进行说明，其他参数修改与之相同。
修改参数并保存修改成功后回到CM主页面，CM会提示是否需要部署客户端配置或者重启服务。
Oracle Cloud Manager用户指南说明书
PeopleSoft Spotlight Series Cloud ManagerPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish Templates Self Service DeploymentLift and ShiftManage LifecyclePeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish Templates Self Service DeploymentLift and ShiftManage LifecycleEnterprise applications –Economics of Cloud•Evaluation of new features•Running development / test instances•ProductionSoftware as a ServiceInfrastructure as a ServicePlatform as a ServiceEnterprise application landscape is rapidly changing with more customers running workloads on Cloud.Oracle Compute Cloud ServiceInfrastructure-as-a-Service solutionOn-demand, scalable compute resources Self service businessapplicationsPredictable pricingBuilt-in identity management, high availability, elasticity,backup, and monitoringOracle Compute Cloud ServiceOracle Database Cloud Service (DBCS) Platform-as-a-Service (PaaS)Request for ServiceDatabaseReady for Use AllocateComputeAllocateStorageProvisionOSSet Keys &PrivilegesInstall &ConfigureDatabaseConfigureBackupsConfigureToolsConfigureAccessBenefitsReduced time and complexity to provision database services Increased standardizationof the “fleet”Also use to deploy with dataguard or Real ApplicationClusters (RAC)Platform Software & ServicesInfrastructure Components & ServicesApplication Software & ServicesPeopleSoft Cloud ManagerMigrate to Oracle Cloud•Lift and Shift existing environments to Oracle Cloud•Migration of your configuration, data, and customizations•Backup and restore to Oracle CloudCLOUD MANAGERCloud Computing•Elastic scaling based on demand •Always current, always patched technology platform •Industry leading secured environmentsLife Cycle Management•Subscription to update release channels•Complete environment management•Automated PeopleTools patchingSelf Service Provisioning•On-demand environments for specific use cases•Template driven provisioning enables business users •Unique topology definitionsPlatform Software & ServicesInfrastructure Components & ServicesApplication Software & ServicesAutomated DeploymentAutomated ConfigurationAPPS DPKTOOLS DPKDATABASEAPP SERVERWEB SERVERCloud IAAS, VM or Bare MetalYAMLConfigurationPeopleSoft Cloud ArchitecturePeopleSoft Deployment PackagesOn-premiseCloud Moving to Cloud•Flexibility and Control•Agile•CheaperPeopleSoft Cloud Architecture: Transformation to Cloud Manual AutomationHow you migrate and operate on Cloud matters.Use Cases•Deploy the latest PeopleSoft Update Image•Deploy PeopleSoft environments on-demand•Clone PeopleSoft environments (templatize)•Migrate your on-premise environment to Cloud•Apply PeopleTools patches and future PeopleTools releases •Apply PRPs•Monitor Cloud Environment•Scale Up or DownCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleOracle Compute Cloud Servicehttps:///marketplace/en_US/homePage.jspx MarketplaceCloud AdministratorOracle CloudOracle CloudCloud Administrator Cloud Manager Admin ProvisionLiftShiftTemplate-ize Psft Admin DPKManage Life CycleBootStrapMarketplace RepositoryMoSTemplates Topology Object Storage Cloud Manager AdminSelf Service user Auto-downloadDPK Custom DPK DPK Apps DPK DPK Custom DPK Set up for PUM Tools patches PRPsCloud Manager HomepageCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleDownload SubscriptionsTopologyPUM FulltierEnvironment TemplateShipped Security Users, Roles, and Permission Lists User–CLADM. "Cloud Administrator" role and other PeopleSoft administrative roles. Roles–Cloud Administrator (PACL_CAD)–Cloud PeopleSoft Administrator (PACL_PAD)–Self-Service User (PACL_SSC)Permission Lists–Cloud Administrator Permissions (PACL_001)–PeopleSoft Admin for Cloud (PACL_002)–Cloud Self Service (PACL_003)SummaryCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleRapid on-Demand DeploymentTemplatesProvisionTopologySelf Service userCloud ManagerAdminEnvironmentsActionsDetailsHealth CheckCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleClone to TemplateCreate a new environment based on customer DPK Oracle CloudObject StorageCustomer Environment RepositoryDPKCustom DPKUpload to Object Storage Clone to TemplateLift and Shift Topology and TemplateLift UtilityShiftCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleSetting Up for Selective Adoption•Create Environment for PUM Source using PUM Fulltier template, this deploys:–one Linux VM (PUM Source)–one Windows VM for PeopleSoft Client with Change Assistant installed •Manage PUM Connections –Add Target–PUM Source database and target database details are configured in Change Assistant –Target database details uploaded to PUM source database•Apply PRP to PUM Source–Access PRP from file serverApplying PeopleTools Patch•Subscribe to the Tools Release channel.•Use the Environment > Detail page to apply the patch to a running environment.•When you select to apply the patch:–Change Assistant is upgraded to the new patch and the apply PeopleTools patch runs automatically.–When the patch is complete, you will get a message and the status will be updated.•If you want to baseline the updated environment and make it available to self service users, then you would clone the environment.Apply PeopleTools PatchApplying PRPs to PUM Source•PRPs are auto-downloaded to the Cloud Manager Repository.•PRPs are stored on the file server on specific directory which is shared as a samba share.•To apply PRPs to PUM source, user has to:1.Access the PRP share on the windows client VM.2.Copy them to D:\psft\pum_download on windows client.unch Change Assistante Apply PeopleSoft Release Patchset option to apply PRPs on PUM source.Note:Change Assistant is configured when an Add Target is performed,therefore an Add Target must be performed before you can apply a PRP.Clone to TemplateClone to template is used when users want to :•Baseline a lifted/shifted environment and make it available for self-service.•Create a clone of an environment to try new updates/upgrades.•Create a clone of a development environment for testing new changes.•Save a point-in-time copy of the environment (similar to a backup) before doing any major updates/upgrades to the environment.Additional Resources•OBE -Installing PeopleSoft Cloud Manager posted on the Oracle Learning Library•Online Help -PeopleSoft Cloud Manager•PeopleSoft Cloud Manager Home Page on My Oracle Support (Doc ID 2231255.2)•PeopleSoft Cloud Manager Concept page on the PeopleSoft Information PortalCopyright © 2017,Oracle and/or its affiliates. All rights reserved. |。
cloudera manage简单使用
cloudera manage简单使用一、首页使用admin/admin登陆后，便可看到此页面：此页面展示了所有已启动的服务以及集群的性能监控信息。
我们这个集群环境的版本是CDH5.0.0的，我们也可以使用cm 进行在线升级。
二、主机点击状态下的主机，可以看到：这里，我们可以看到所有的节点信息以及它上面所拥有的角色和它的状态等信息。
然后，我们点击“Parcel”可以看到：这里我们可以下载某些包，对我们的环境或某个服务进行升级。
三、YARN点击状态下的YARN可以看到：yarn是hadoop2.x中引入的，在上面可以运行MR以及其他的服务。
web ui提供了两个图形界面，首先，我们看下jobHistoryUI，如下：这个就是MR默认的job运行记录。
再来看看resourceManagerUI，如下：这个是YARN提供的application运行记录。
四、hbasehbase是一种提供列式存储结构的服务。
我们点击hbase，可以看到：我们可以在状态摘要看到，hbase安装后拥有的服务。
同时，也可以通过此图形化界面进行一些相关的配置。
接下来我们看看table statistic，如下：这里展示了hbase中表的统计信息。
然后，我们看看hbase web ui，可以看到：我们可以看到表的列族等信息。
五、hdfshdfs，大数据分布式文件系统，进入后，可看到：我们可以看到hdfs的容量状况，读写的情况。
另外，我们进入主节点NameNode,可以浏览hdfs中的文件信息，可看到：六、hivehive是大数据仓库，点击进入，便可看到：目前，hive好像还没提供一些对表数据的图形化界面，这里就简单看一下。
七、impala记得之前讲过impala与hive的区别，一个是在内存中运算，用于实时查询，另一个是启动MR运算，用于离线查询。
进入impala，可以看到：另外，我们可以点击查询，可以看到我们在impala-shell执行过的所有命令，如下：八、zookeeperzookeeper，动物管理，起到协调作用。
Cloudera大数据平台环境搭建
3 reboot
第16页
Cloudera大数据平台环境搭建-系统环境
系统参数 已启用透明大页面压缩，可能会导致重大性能问题。请运行： echo 10 > /proc/sys/vm/swappiness echo 'vm.swappiness=10'>> /etc/sysctl.conf echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件
），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的
提高了集群管理的效率。
CDH体系架构
批处理 （M/R，Hive，Pig）
数据分析 （Impala）
搜索引擎
流处理
机器学习（Spark、
第18页
Cloudera大数据平台环境搭建-数据库环境
本节主要统一介绍与数据库相关组件的安装，便于统一规划，因为这些组件在安装、应用过程中都有 关联，这节配置基本与后续的数据库配置页面相关，随后再提，现在有个准备，保留。
数据库环境
1、 JDK
2、Mysql
3、JDBC
4、创建数据库
第19页
cloudera-manager安装步骤图解详解
安装Cloudera-Manager1.配置服务器的静态IP:打开centos的服务终端输入vi /etc/sysconfig/network-scripts/ifcfg-eth0 如图所示：按i进入编辑模式修改IP地址为自己所需要的配置前：配置后：之后按esc接:wq保存修改并退出如图所示：设置之后可输入ifconfig查看eth0的状态如图所示：这里可以清楚地看到IP已经修改生效如图所示：同时这里也可以输入service network restart来重启网络服务如图所示：2.更改hosts、hostname：输入vi /etc/hosts如图所示：修改hosts为之前配置的静态IP修改hostname为自己的机器名称修改前：修改后：3.关闭防火墙：查看防火墙状态service iptables status 输入service iptables stop 停止防火墙如图所示：输入chkconfig iptables off为重启后永久生效如图所示：4.关闭selinux输入vi /etc/selinux/config修改SELINUX=disabled该操作需要重启才能生效如图所示：修改前:修改后：5.配置代理输入vi /etc/yum.conf随便在某处加入如下内容http_proxy=http://server:port 如图所示：修改前：修改后：6.安装本地yum库依赖的文件库createrepo因为是在不连外网的情况下安装，故需要以下3个安装包，安装包请自行准备：在找到以上3个安装包的情况下输入rpm -i 文件名即可执行安装：安装过程需要注意以上3个包的依赖关系，请按照下图的安装顺序安装：7.检测httpd服务是否运行输入service httpd status查看httpd的运行状态：上图显示服务已停止，而安装需要启动该服务，输入service httpd start启动它：输入chkconfig httpd on为重启后永久生效8.新建RPMS文件夹并放入安装包在/var/www/htm下新建RPMS文件夹输入mkdir /var/www/html/RPMS并将cloudera-manager的安装包放入该文件夹下，安装包请自行准备最后在该目录下执行createrepo .命令，注意空格成功后会在该目录下新生成一个repodata9.创建cloudera-manager.repo文件输入cd /etc/yum.repos.d/进入目标目录输入touch cloudera-manager.repo创建cloudera-manager.repo文件输入vi /etc/yum.repos.d/cloudera-manager.repo来编辑cloudera-manager.repo，内容如下：[cloudera-manager]name=Cloudera Managerbaseurl=http://host/RPMSenabled=1gpgcheck=010.移除同目录下的其他文件输入cd /etc/yum.repos.d/进入该目录再输入ls查看该目录下的文件名将cloudera-manager.repo以外的文件全部移除，我们这里输入mkdir bak来新建bak文件夹之后输入mv CentOS* /etc/yum.repos.d/bak/将文件移动到bak里11.mysql驱动将mysql驱动放入/usr/share/cmf/lib/下，如果没有该目录则自行创建，驱动请自行准备12.配置db.properties相关参数输入vi /etc/cloudera-scm-server/db.properties进行编辑修改后：13.配置f 输入vi /etc/f修改前:修改后：14.启动mysql并创建相关数据库输入service mysqld status查看mysql状态输入service mysqld start启动mysql输入mysql -uroot -p登录mysql刚装好的mysql在root下无密码，直接回车进入接下来创建数据库，具体命令如下：按文本里写的全部创建完毕：15.安装cloudera-manager输入cd /var/www/html/RPMS进入安装包所在目录再输入./cloudera-manager-installer.bin --skip_repo_package=1执行安装命令输入命令后弹出安装界面：之后一直按提示点next和yes就行，直至安装完成，如果中途出错，请查看相关日志。
cloudera data platform使用
cloudera data platform使用（原创版）目录1.Cloudera Data Platform 简介2.Cloudera Data Platform 的主要组件3.Cloudera Data Platform 的应用场景4.Cloudera Data Platform 的优势与不足5.总结正文【1.Cloudera Data Platform 简介】Cloudera Data Platform（CDP）是 Cloudera 公司推出的一款大数据平台，它集成了数据存储、数据处理、数据分析和机器学习等多种功能，帮助企业实现数据的采集、存储、处理、分析和应用。
CDP 的目标是让企业能够更加高效地管理和利用海量数据，从而实现数据驱动的业务决策。
【2.Cloudera Data Platform 的主要组件】CDP 由以下几个主要组件构成：1.Cloudera Manager：Cloudera Manager 是 CDP 的管理界面，通过它，用户可以对整个平台进行监控、管理和配置。
2.Cloudera Data Platform (CDH)：CDH 是 CDP 的核心组件，它集成了 Hadoop、Spark、Hive、Pig、Flink 等大数据处理技术，提供了丰富的数据处理和分析功能。
3.Cloudera Data Warehouse (CDW)：CDW 是 CDP 的数据仓库组件，它提供了高效的数据存储和查询功能，支持 SQL 查询和机器学习模型的训练。
4.Cloudera Analytics Platform (CAP)：CAP 是 CDP 的数据分析和机器学习组件，它提供了可视化的数据分析工具和丰富的机器学习算法，支持实时和离线的数据分析。
5.Cloudera Collaborative Data Platform (CCP)：CCP 是 CDP 的数据共享和协作组件，它提供了安全的数据共享和协作功能，支持多种数据格式和协议。
cdh大数据处理流程
CDH大数据处理流程Cloudera的CDH（Cloudera's Distribution Including Apache Hadoop）是一个基于Apache Hadoop的大数据平台。
使用CDH进行大数据处理的基本流程包括以下几个步骤：1.环境准备：首先需要准备服务器。
安装CDH集群至少需要三台服务器，每台服务器的内存一般选用64G或32G。
2.配置主机名称映射：修改每个节点的主机名称，并确保所有节点的hostname都是唯一的。
然后修改/etc/hosts/文件，将主机名称和对应的IP地址进行映射。
修改完成后需要重启服务器。
3.安装JDK：在所有节点上安装JDK，版本必须为1.8或以上。
CDH默认识别JDK的路径为/usr，如果安装到别的路径，可能启动CDH时会报错。
4.选择集群服务组合：在CDH Manager中，可以选择一种集群服务组合。
如果不确定哪个组合更合适，选择“全部服务”也可以。
5.分配集群角色：这一步比较关键，需要根据实际需求将不同的角色（如NameNode、SecondaryNameNode、DataNode等）分配到相应的节点上。
这样做是为了简化数据节点的角色和职责，便于维护。
6.数据库设置：按照实际配置信息填写数据库设置。
CDHManager使用MySQL作为其后端数据库，用于存储集群的配置信息、运行状况数据和指标信息。
7.审核更改：检查DataNode和NameNode的数据目录设置是否正确。
默认情况下，副本数是3。
8.启动和监控集群：使用CDH Manager启动集群，并通过其提供的Web界面和API接口监控集群的运行状况。
以上是CDH大数据处理的基本流程。
在实际应用中，可能还需要根据具体需求进行更多的配置和优化。
ClouderaManager大数据平台部署指南
ClouderaManager大数据平台部署指南一、简介ClouderaManager是一款用于管理和监控大数据平台的工具，它提供了一套集中式的管理界面，可以帮助用户轻松部署、配置和监控大数据集群。
本文将详细介绍ClouderaManager的部署过程，包括环境准备、安装步骤和常见问题解决方法。
二、环境准备1. 操作系统要求ClouderaManager支持多种操作系统，包括CentOS、Red Hat Enterprise Linux、Ubuntu等。
在开始部署之前，请确保您的操作系统符合ClouderaManager的要求，并已经完成了基本的系统设置。
2. 硬件要求为了保证ClouderaManager的性能和稳定性，建议您在部署之前对硬件进行评估，并选择合适的硬件配置。
通常情况下，建议至少具备以下硬件配置：- CPU：双核或更高- 内存：8GB或更高- 硬盘：至少100GB的可用空间3. 网络要求ClouderaManager需要与集群中的各个节点进行通信，因此请确保网络连通性良好，并且所有节点都能够访问ClouderaManager的管理界面。
4. 软件要求在开始部署之前，您需要安装以下软件：- Java Development Kit (JDK)：ClouderaManager需要JDK来运行，请确保您已经安装了适当版本的JDK。
- 数据库：ClouderaManager需要一个数据库来存储配置信息和监控数据。
常见的选择包括MySQL、PostgreSQL等。
三、安装步骤1. 下载ClouderaManager首先，您需要从Cloudera官方网站上下载ClouderaManager的安装包。
请确保您选择了与您操作系统版本相对应的安装包。
2. 安装ClouderaManager Server在安装ClouderaManager Server之前，请确保您已经满足了所有的环境准备要求。
接下来，您可以按照以下步骤来安装ClouderaManager Server：- 解压安装包：使用适当的命令解压下载的安装包。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
部署指南 Cloudera Manager CDH官方共给出了3中安装方式。
第一种方法必须要求所有机器都能连网，由于各种网络超时错误，基本没法用。
第二种方法使用CM的在线yum源，在线下载很多包，同样是超时严重。
第三种方法是全离线方式，实际情况是也只能用这个。
1、Cloudera Manager的部署条件•CDH不支持在容器中部署。
•支持Oracle JDK7，目前可使用的最新版本为1.7u80，C5.3.x及以上版本也支持使用oracle JDK8，同一个CDH集群中的所有节点使用的JDK版本必须一致。
•使用Python2.4及以上，不支持Python3•仅支持IPv4，且IPv6必须要disabled•基于tar压缩包的离线安装方式，会在6.0.0中停止支持该方式。
•支持selinux，但如果不熟悉使用方法，建议关闭。
•管理端口为7180，此外还有很多基础应用使用的端口，可以运行iptables，需要确认有恰当的授权控制，例如至少要对同网段的访问放开全部端口。
2、Cloudera Manager部署的几个阶段和可选择的方式注：因为Cloudera Manager的官方yum源位于国外，受网速影响而无法正常使用。
所以上述部署方式中，一般是使用PATH C，或者在预先下载好相关RPM包的条件下参照PATH B方式。
3、主机节点信息和基础配置（1）主机信息本次部署使用以下主机，前两个作为NameNode使用。
后四个主机，分别额外挂载一块1TB的磁盘到本地的/dfs/dn目录下。
注1：用于大数据平台的数据磁盘不要配置RAID，直接祼盘即可。
如果有RAID 控制器，则直接对每块盘设置一个单独的RAID0，仍然当作单盘使用。
注2：在有第二块数据盘的情况下，继续挂载到/dfs/dn2，更多的数据盘则按命名规则和挂盘规则扩展即可。
注3：对于生产环境而言，NameNode所在的节点一般不要同时做数据节点使用。
而且NameNode所在主机的磁盘需要配置适当的RAID保护级别，以提高可靠性。
注4：对于DataNode所在的主机节点，建议系统盘和数据盘完全隔离开，然后系统盘使用两磁盘配置为RAID1以提高可靠性。
虽然数据节点是冗余的，挂一个也不影响CDH平台运行，但修起来还是很麻烦啊。
172.17.10.70 cluster-70172.17.10.71 cluster-71172.17.10.72 cluster-72172.17.10.73 cluster-73172.17.10.74 cluster-74172.17.10.75 cluster-75操作系统全部使用CentOS 6.9 Minimal安装。
将全部主机的主机名设置好，并将以上映射关系写到每个主机的/etc/hosts 文件中。
（2）免密登录在cluster-70节点上制作ssh密钥：ssh-keygen将该密钥分发至其它各节点，以实现免密钥登录，如：ssh-copy-id cluster-71（3）selinux和iptables所有节点配置为关闭selinux。
所有节点的iptables设置为对同网段地址放开全部端口的访问权限。
（4）系统性能参数调整中即可。
cat << EOF >> /etc/sysctl.confvm.swappiness = 0net.ipv6.conf.all.disable_ipv6 = 1net.ipv6.conf.default.disable_ipv6 = 1net.ipv4.ip_local_port_range = 1024 65000EOFsysctl -pecho never > /sys/kernel/mm/transparent_hugepage/defragecho never > /sys/kernel/mm/transparent_hugepage/enabledcat << EOF >> /etc/rc.localecho never > /sys/kernel/mm/transparent_hugepage/defragecho never > /sys/kernel/mm/transparent_hugepage/enabledEOF4、安装JDK下载并分发Oracle JDK安装包至所有节点，执行安装和配置命令。
rpm -ivh jdk-7u80-linux-x64.rpm直接刷下面脚本完成配置：cat << EOF >> /etc/profileJAVA_HOME=/usr/java/jdk1.7.0_80PATH=\$JAVA_HOME/bin:\$PATH:.CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOMEexport PATHexport CLASSPATHEOFsource /etc/profile以上JDK配置，需要在每个节点上都处理。
5、安装和配置数据库主要有以下业务会使用到数据库服务：•Cloudera Manager，存放各种服务、配置数据，空间大约100MB，很重要，应经常备份；•Oozie Server - Contains Oozie workflow, coordinator, and bundle data. Can grow very large.•Sqoop Server - Contains entities such as the connector, driver, links and jobs. Relatively small.•Activity Monitor - Contains information about past activities. In large clusters, this database can grow large. Configuring an Activity Monitor database is only necessary if a MapReduce service is deployed.•Reports Manager - Tracks disk utilization and processing activities over time.Medium-sized.•Hive Metastore Server - Contains Hive metadata. Relatively small.•Hue Server - Contains user account information, job submissions, and Hive queries.Relatively small.•Sentry Server - Contains authorization metadata. Relatively small.•Cloudera Navigator Audit Server - Contains auditing information. In large clusters, this database can grow large.•Cloudera Navigator Metadata Server - Contains authorization, policies, and audit report metadata. Relatively small.（1）因为准备使用cluster-70作为NameNode Master，所以把mysql数据库安装在cluster-71上面，以分散下风险。
登录cluster-71，然后使用任一种自己熟悉的方式把mysql数据库安装好即可：yum install mysql-server mysqlchkconfig mysqld onservice mysqld start完成数据库初始化：/usr/bin/mysql_secure_installation（2）优化数据库配置service mysqld stop将旧的InnoDB log文件移走：/var/lib/mysql/ib_logfile0 and /var/lib/mysql/ib_logfile1 out of /var/lib/mysql/参照下面调整f参数，以更适合CDH服务使用：[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0transaction-isolation = READ-COMMITTEDkey_buffer_size = 32Mmax_allowed_packet = 32Mthread_stack = 256Kthread_cache_size = 64query_cache_limit = 8Mquery_cache_size = 64Mquery_cache_type = 1max_connections = 550#binlog_format = mixedread_buffer_size = 2Mread_rnd_buffer_size = 16Msort_buffer_size = 8Mjoin_buffer_size = 8M# InnoDB settingsinnodb_file_per_table = 1innodb_flush_log_at_trx_commit = 2innodb_log_buffer_size = 64Minnodb_buffer_pool_size = 2Ginnodb_thread_concurrency = 8innodb_flush_method = O_DIRECTinnodb_log_file_size = 512M[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.pidsql_mode=STRICT_ALL_TABLES启动mysql，如果有报错，可根据日志信息排查。
（3）创建需要使用的几个库create database database DEFAULT CHARACTER SET utf8;grant all on database.* TO 'user'@'%' IDENTIFIED BY 'password';注：在部署中发现hive，oozie使用的库需要使用latin字符集，否则在启动服务时日志中会报错创建索引时超长度限制。