HIVE的安装文档
大数据集群配置过程_hive篇
大数据集群配置过程_hive篇JDDC_SEED_BIGDATA 2015-01-151.概述本篇文档主要讲解hive的安装过程。
Hadoop是安装hbase和hive的基础，即安装hbase和hive之前必须先安装hadoop并且hdfs和mapreduce必须都功能正常。
因为hbase和hive 其底层所使用都是应用hadoop的两个核心部分—hdfs和mapreduce。
在安装hadoop之前需要考滤操作系统的版本（32位还是64位）以及hbase和hive的版本，否则会引起jar包不支持而导致的jar包替换或jar包重新编译等问题。
Hadoop、hbase、hive的版本匹配信息如下：由于我们所使用的操作系统centos6.5是32位，而且安装的hadoop是hadoop2.2.0，所以本次安装的hive版本是0.12.0切记，在安装hbase之前一定先安装hadoop，而且要确保hadoop中的HDFS和MAPREDUCE都是可以正常使用的。
2.正文与hadoop和hbase不同，hive在安装的过程中不需要把hive的包分别发布到个节点上，只需要在namenode节点上hive包进行配置，但需要在配置的过程中指定各个datanode节点的主机名。
2.1下载安装mysql本次将Hive配置成Server模式，并且使用MySQL作为元数据数据库。
原则上MySQL不必要非得安装在namenode节点上，可以装在一个单独的服务器上，并进行远程联接。
本次技术检证，由于资源有限，把mysql安装在namenode节点上。
下载MySQL-5.6.22-1.linux_glibc2.5.i386.rpm-bundle.tar，参考下载地址/downloads/。
具体的安装以及root初始密码的修改请参考《linux下MySQL安装及设置》和《MySQL修改root密码的各种方法整理》这两篇文档。
2.2创建Hive元数据库创建数据库hive：create database if not exists hive;创建数据库用户hive：create user hive identified by 'hive2015';授权可以访问数据库hive的主机和用户：grant all on hive.* to 'hive'@'hadoop01' identified by 'hive2015';grant all on hive.* to 'hive'@'hadoop02' identified by 'hive2015';grant all on hive.* to 'hive'@'hadoop03' identified by 'hive2015';grant all on hive.* to 'hive'@'hadoop04' identified by 'hive2015';2.3安装以及配置hive下载hive-0.12.0-bin.tar.gz，参考下载地址/downloads.html。
Hive安装配置详细
Hive安装配置详细定义Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。
Hive可以将结构化的数据存储在数据仓库中，通过自己的SQL去查询分析需要的内容，这套SQL简称Hive SQL。
它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML 以及常见的聚合函数、连接查询、条件查询。
Hive在Hadoop的架构体系中承担了一个SQL解析的过程，它提供了对外的入口来获取用户的指令然后对指令进行分析，解析出一个MapReduce程序组成可执行计划，并按照该计划生成对应的MapReduce 任务提交给Hadoop集群处理，获取最终的结果。
以上定义来源于《Hadoop开发者入门专刊》Hive安装我将延用《Hadoop安装》文档（/blog/706699）风格撰写下文。
Hive需要Hadoop的支持，也就是说在安装Hive之前需要正确安装Hadoop，这里不再阐述Hadoop 的安装过程。
一般我们会将Hive安装到NameNode所在主机上，这里假设使用root用户进行安装，Hive 的安装过程很简单：以上就是在Linux（cent os 5.X）上安装Hive的过程，下面就到了配置的环节。
Hive配置Hive的必要配置相当简单，只需要声明$HADOOP_HOME（请查阅《Hadoop安装》文档）这个环境变量就行了。
Hive的核心配置文件$HIVE_HOME/conf/hive-default.xml中有一些对Hive关键配置，一般我们不需要对其进行改动，如果你需要更改这个关键配置，请不要直接更改hive-default.xml这个文件，在同一目录下新建hive-site.xml文件，然后将需要更改的属性配置在这里面即可，配置格式与hive-default.xml一样。
另外，在Hive官方文档中重点提到了Hive的日志配置$HIVE_HOME/conf/hive-log4j.properties，虽然不是必要更改的配置文件，但合理的设置会对我们有一定的帮助，具体配置方法可见官方文档。
Hive安装手册
一、安装准备1、下载hive-0.5.0-bin版本：/hadoop/hive/hive-0.5.0/2、JDK版本：jdk-6u20-linux-i586.bin3、操作系统：Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64x86_64 x86_64 GNU/Linux4、默认前提是安装完hadoop 0.20.2版本：192.168.3.131 namenode192.168.3.132 datanode192.168.3.133 datanode二、安装操作1、拷贝以上文件到Linux的“/root”目录下。
同时新建目录“/jz”。
2、安装JDK，此步省略...3、解压hive到/jz目录下。
tar -zxvf hive-0.5.0-bin.tar.gz -C /jz4、进入/jz/hive-0.5.0-bin/conf目录，复制hive-default.xml，改名为hive-site.xml文件。
三、启动操作1、在/jz/目录下创建hive-user文件夹，并在该文件夹下创建文件夹hive.kaka。
目录结构为：/jz/hive-user/hive.kaka2、在/jz/hive-user/hive.kaka目录下创建文件cli，该文件内容为：#!/bin/bash/jz/hive-0.5.0-bin/bin/hive --auxpath3、sh /jz/hive-user/hive.kaka/cli 启动hive服务，进入cli控制台。
4、输入show tables;控制台如果返回OK，表示启动成功。
四、注意和总结1、创建私有的cli文件的目的是为了避免使用嵌入式的数据库出现多人操作同一个的现象，而且多人操作，即使进入cli也会报错。
2、如果想多建用户，可以在/jz/hive-user目录下建立目录，存放进去相同的cli文件，启动私有的cli控制台。
Hillstone Networks,Inc. 云·格CloudHive安全产品部署手册说明书
Hillstone Networks,Inc.云·格CloudHive安全产品部署手册Version2.3Copyright2016Hillstone Networks,Inc..All rights reserved.Information in this document is subject to change without notice.The software described in this document is furnished under a license agreement or nondisclosure agreement.The software may be used or copied only in accordance with the terms of those agreements.No part of this publication may be reproduced, stored in a retrieval system,or transmitted in any form or any means electronic or mechanical,including photocopying and recording for any purpose other than the purchaser's personal use without the written permission of Hillstone Networks,Inc..Hillstone Networks,Inc.联系信息公司总部（北京总部）：地址：北京市海淀区宝盛南路1号院20号楼5层邮编：100192联系我们：/about/contact_Hillstone.html关于本手册本手册介绍Hillstone Networks,Inc.云·格CloudHive安全产品的安装部署方法。
(完整word版)HIVE说明文档
HIVE说明文档一、HIVE简介：1、HIVE介绍Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。
它是Facebook 2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的HQL语句作为数据访问接口。
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言查询,汇总,分析数据.2、HIVE适用性：它与关系型数据库的SQL 略有不同，但支持了绝大多数的语句如DDL、DML 以及常见的聚合函数、连接查询、条件查询。
HIVE不适合用于联机（online)事务处理，也不提供实时查询功能。
它最适合应用在基于大量不可变数据的批处理作业。
HIVE的特点：可伸缩(在Hadoop的集群上动态的添加设备），可扩展，容错,输入格式的松散耦合.hive不支持用insert语句一条一条的进行插入操作，也不支持update操作。
数据是以load的方式加载到建立好的表中。
数据一旦导入就不可以修改。
DML包括：INSERT插入、UPDATE更新、DELETE删除。
3、HIVE结构Hive 是建立在Hadoop上的数据基础架构,它提供了一系列的工具，可以用来进行数据提取转化加载（ETL）,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制，Hive定义了简单的累SQL 查询语言，称为HQL，它允许熟悉SQL的用户查询数据，同时,这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理內建的mapper和reducer无法完成的复杂的分析工作。
HadoopHbaseHive安装过程详细记录-14页word资料
一、说明网络上有很多关于hadoop hbase hive的安装说明，按照其方法，总是有问题，记录下完整的安装过程，以供参考。
A操作系统是 ubuntu12.10二、安装jdk， hadoop, ssh server的方法参考文章《ubuntu操作记录》下面是具体内容：1.安装ubuntu之后，增加root 用户 sudo passwd ；2.ifconfig查看网络配置；/etc/network/interfaces3.网络配置文件：netifa /etc/sysconfig/network4、安装ssh5.sudo apt-get ssh-server;6、jdk安装sudo mo ./jdk.bin /opt/chmod u+x jdk.binsudo ./jkd.bin或 sh ./jdk.bin6.配置jdk;/etc/profile#set java environmentexport JAVA_HOME=/opt/jdk1.6.0_24(=前后没有空格)export CLASSPATH=.:$JAVA_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$PATHumask 022/etc/environmentPATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/ga mesc"CLASSPATH="/opt/jdk1.6.0_24/lib"JAVAHOME="/opt/jdk1.6.0_24"7. shutdown –r now重启之后，显示java安装成功。
7、ssh设置$ apt-get install ssh$ ssh-keygen -t rsa -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ ssh localhost（认证没有通过）在上面的问题中应该回答yes,继续，就可以ssh匿名登录了。
hive的安装与基础编程实验总结
Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的数据查询语言，使用户能够方便地在Hadoop集裙上进行数据分析。
在本文中，我们将介绍如何安装Hive，并进行一些基础的编程实验。
二、Hive的安装1. 确保环境在安装Hive之前，我们需要确保已经安装了Hadoop，并且Hadoop集裙处于正常运行状态。
另外，还需要安装Java环境，并且配置好JAVA_HOME环境变量。
2. 下载Hive前往冠方全球信息站下载最新版本的Hive压缩包，解压到指定目录。
3. 配置Hive在Hive安装目录下，修改conf目录中的hive-site.xml文件，配置Hive与Hadoop的连接信息，包括Hadoop的文件系统类型、Hadoop的主机名和端口等信息。
4. 启动Hive在终端中输入hive命令，启动Hive。
三、基础编程实验在Hive中，我们可以使用类似于SQL的语法来创建表。
下面是一个简单的例子：```CREATE TABLE employee (id INT,name STRING,age INT,department STRING);```2. 加载数据我们可以使用LOAD DATA语句来加载数据到Hive表中。
假设我们有一个名为employee.csv的文件，包含了员工的信息，我们可以使用以下命令将数据加载到employee表中：```LOAD DATA LOCAL INPATH '/path/to/employee.csv' INTO TABLE employee;```3. 查询数据一旦数据被加载到表中，我们就可以使用类似于SQL的语法来查询数据。
我们可以使用以下命令来查询芳龄大于30岁的员工：```SELECT * FROM employee WHERE age > 30;```4. 数据分析除了基本的查询操作，Hive还提供了丰富的数据分析功能，可以进行统计、分组、排序、连接等操作。
02_尚硅谷大数据之Hive安装
第2章Hive安装2.1 Hive安装地址1）Hive官网地址：/2）文档查看地址：https:///confluence/display/Hive/GettingStarted3）下载地址：/dist/hive/4）github地址：https:///apache/hive2.2 Hive安装部署1）Hive安装及配置（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面[atguigu@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/ （3）修改apache-hive-1.2.1-bin.tar.gz的名称为hive[atguigu@hadoop102 module]$ mv apache-hive-1.2.1-bin/ hive（4）修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh [atguigu@hadoop102 conf]$ mv hive-env.sh.template hive-env.sh（5）配置hive-env.sh文件（a）配置HADOOP_HOME路径export HADOOP_HOME=/opt/module/hadoop-2.7.2（b）配置HIVE_CONF_DIR路径export HIVE_CONF_DIR=/opt/module/hive/conf2）Hadoop集群配置（1）必须启动hdfs和yarn[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh（2）在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -mkdir /tmp[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -mkdir -p /user/hive/warehouse[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -chmod 777 /tmp[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -chmod 777 /user/hive/warehouse 3）Hive基本操作（1）启动hive[atguigu@hadoop102 hive]$ bin/hive（2）查看数据库hive>show databases;（3）打开默认数据库hive>use default;（4）显示default数据库中的表hive>show tables;（5）创建一张表hive> create table student(id int, name string) ;（6）显示数据库中有几张表hive>show tables;（7）查看表的结构hive>desc student;（8）向表中插入数据hive> insert into student values(1000,"ss");（9）查询表中数据hive> select * from student;（10）退出hivehive> quit;2.3 将本地文件导入Hive案例需求：将本地/opt/module/datas/student.txt这个目录下的数据导入到hive的student(id int, namestring)表中。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、基本的安装1、解压hive-0.11.0.tar.gztar -zxvf hive-0.11.0.tar.gz2、修改环境变量在/etc/profile 中添加HIVE_HOME=/home/LXC/hive-0.11.0export PA TH=$HIVE_HOME/bin:$PA TH3、保存环境变量source profile4、Copy 配置文件cp hive-default.xml.template hive-site.xmlcp hive-env.sh.template hive-env.shcp hive-log4j.properties.template hive-log4j.properties5、修改hive-env.sh•指定hive配置文件的路径•export HIVE_CONF_DIR=/home/LXC/hive-0.11.0/conf•指定Hadoop路径• HADOOP_HOME=/opt/hadoopcluster/hadoop-2.0.3-alpha6、修改hive-site.xml<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:derby:;databaseName=metastore_db;create=true</value><description>JDBC connect string for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>org.apache.derby.jdbc.EmbeddedDriver</value><description>Driver class name for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionUserName</name><value>APP</value><description>username to use against metastore database</description> </property><property><name>javax.jdo.option.ConnectionPassword</name><value>mine</value><description>password to use against metastore database</description> </property>7、修改log4j配置文件log4j.appender.EventCounter=org.apache.hadoop.metrics.jvm.EventCounter以上是基本的hive安装。
二、HBASE 和HIVE的整合1、把lib下的hbase-*.jar 和zookeeper-*.jar包换成集群使用的版本的jar包。
2、常出现的问题三、HIVE和MYSQL整合1、修改hive-site.xml文件<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://10.106.1.2:3306/lxc?createDatabaseIfNotExist=true</value><description>JDBC connect string for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value><description>username to use against metastore database</description></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value><description>password to use against metastore database</description></property>2、把mySQL的JDBC驱动包复制到Hive的lib目录下3、在hive中创建一个表可以在mysql对应的数据库中通过select* from TBLS;查看的到。
到此hive整合mysql 成功。
四、HWI的配置1、在hive-site.xml 文件中添加hive-hwi-0.11.0.war的路径<property><name>hive.hwi.war.file</name><value>lib/hive-hwi-0.11.0.war</value><description>This sets the path to the HWI war file, relative to ${HIVE_HOME}. </description></property>2、如果不安装ant的话会报编译错误ng.IllegalStateException: No Java compiler available3、安装antA、解压ant*.tarB、配置环境变量ANT_HOME=/opt/software/apache-ant-1.9.2export PATH=$ANT_HOME/bin:$PATHexport ANT_LIB=/opt/software/apache-ant-1.9.2/libC、ant -version 命令查看ant是否安装成功root@namenode2:/opt/software# ant -versionApache Ant(TM) version 1.9.2 compiled on July 8 20134、把ant-launcher.jar 和ant.jar 两个jar包导到hive的lib目录下5、当报It is currently set to "/usr/java/jdk1.6.0_35/jre"错误时把JDK目录下的tools.jar导到hive的lib目录下6、启动hwiNohup /bin/hive --service hwi > /dev/null 2>&1 &7、通过页面查看http://Ipserver:9999/hwi五、hiveserve2 的配置1、修改hive-site.xml 配置文件<property><name>hive.server2.thrift.port</name><value>10000</value></property><property><name>hive.server2.thrift.bind.host</name><value>10.106.1.230</value></property><property><name>hive.server2.enable.doAs</name><value>true</value></property>六、启动服务1、启动metastore服务~ bin/hive --service metastore & Starting Hive Metastore Server2、启动hiveserver服务~ bin/hive --service hiveserver & Starting Hive Thrift Server3、启动hive客户端~ bin/hive shell七、访问hiveserve2的两种方式1、JDBCClass.forName("org.apache.hive.jdbc.HiveDriver");DriverManager.getConnection("jdbc:hive2://IP:10000/default", "", "");2、BEELINEbin/beeline!connect jdbc:hive2://IP:10000/default 用户名密码Show tables;kettle。