HBase在Linux下安装和配置详解
Hadoop+Zookeeper+HBase部署指南
Hadoop+Zookeeper+HBase安装指南RUC DB-IIR 卞昊穹/bhq2010bianhaoqiong@2012.07.28-Version1集群情况：4个节点，IP分别为：node0: 192.168.181.136(NameNode/JobTracker/SecondaryNameNode/HMaster)node1: 192.168.181.132(DataNode/TaskTracker/HRegionServer/QuorumPeerMain)node2: 192.168.181.133(DataNode/TaskTracker/HRegionServer/QuorumPeerMain)node3: 192.168.181.134(DataNode/TaskTracker/HRegionServer/QuorumPeerMain)软件版本：CentOS Linux 6.2 x86_64(2.6.32)OpenJDK-1.6.0_24Hadoop-1.0.2Zookeeper-3.4.3HBase-0.94.0目录1. hosts和hostname设置 (2)2. SSH设置 (2)3. Hadoop配置安装 (3)4. Zookeeper配置安装 (5)5. HBase配置安装 (6)1. hosts和hostname设置安装分布式的Hadoop和HBase集群需要在每一个节点上都设置网络中的hosts和本机的hostname。
首先将/etc/hosts文件中127.0.0.1这一行的中间一段改为本机的主机名，并在文件末尾添加hosts配置，每行为一个ip地址和对应的主机名，以空格分隔。
以node0为例，修改后的hosts 文件如下：再将/etc/sysconfig/network文件中HOSTNAME=一行中“=”之后内容改为主机名，如：2. SSH设置之后，在node0生成ssh公钥，添加到node1/2/3的~/.ssh/authorized_keys文件中以实现node0无密码登录node1/2/3，参考：/bhq2010/article/details/6845985此处node0是ssh客户端，node1/2/3是ssh服务器端。
HBASE安装及客户端编程配置
HBASE 安装一、安装指南二、常见问题一、安装指南Hadoop+Hbase安装配置实录2010-10-12 22:53生产环境：3台机器:master(192.168.0.61),slave1(192.168.0.62),slave2(192.168.0.63) 注意：hostname设置为master/slave1/slave2操作系统：rhel5.4 x86_64master做为namenonde,将slave1和slave2做为datanode1.在master:(在slave1和slave2上操作和以下相同)vi /etc/hosts192.168.0.61 master192.168.0.62 slave1192.168.0.63 slave22.用root操作3.免密码登录#ssh-keygen -t rsa #建立ssh目录,敲回车到底 ,这一步需要先在每台机器上执行。
在master上#scp ~/.ssh/id_rsa.pub root@slave1:/root/.ssh/id_rsa.pub_m将master 上的密钥传到slave1的/home/hadoop下在slave1上#cat /root/.ssh/id_rsa.pub_m >> ~/.ssh/authorized_keys#chmod 644 ~/.ssh/authorized_keys反复操作第3步，完成master<-->slave1 master<-->slave2的免密码登录这样主节点和从节点之间就可以不用密码直接ssh访问，另外，在启动hadoop 时需要master ssh master，因此，在master的~/.ssh下，也执行下cat id_rsa.pub >> authorized_keys 即可。
4.安装JDK到/usr/local下命名为jdk6然后：编辑三台机器的/etc/profile,增加如下内容export JAVA_HOME=/usr/local/jdk6export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport HADOOP_HOME=/hadoop/hadoopexport HBASE_HOME=/hadoop/hbasePATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin#vi /root/.bashrc增加export HADOOP_CONF_DIR=/hadoop/hadoop-configexport HBASE_CONF_DIR=/hadoop/hbase-config5、防火墙各机器加入iptables策略：#iptables -I INPUT -s 192.168.0.0/255.255.255.0 -j ACCPET#service iptables save-----------------------------------------hadoop配置:1.下载安装#cd /hadoop#wget/apache-mirror//hadoop/core/hadoop-0.20.2/hadoo p-0.20.2.tar.gz#tar -zxvf hadoop-0.20.2.tar.gz#ln -s hadoop-0.20.2 hadoop由于上述目录中hadoop的配置文件和hadoop的安装目录是放在一起的，这样一旦日后升级hadoop版本的时候所有的配置文件都会被覆盖，因此将配置文件与安装目录分离，一种比较好的方法就是建立一个存放配置文件的目录，/hadoop/hadoop-config/，然后将 /hadoop/hadoop/conf/目录中的core-site.xml,slaves,hadoop-env.sh,masters, hdfs-site.xml,mapred-site.xml，这6个文件拷贝到 /hadoop/hadoop-config/目录中，并指定环境变量$HADOOP_CONF_DIR指向该目录。
HBase的安装、配置、管理与编程
46. NavigableMap<byte[],NavigableMap> columnMap = nMap.get(Bytes.toBytes("description"));
在namenode节点执行bin/hbase-daemon.sh，启动master。执行bin/start-hbase.sh和bin/stop-hbase.sh 脚本启动和停止HBase服务。
接口说明
HBase按列存储结构化数据，支持建表、插入记录、查询记录、删除记录和索引操作等等，不支持连接和更新操作。
（1），在namenode节点新建zookeeper目录，在该目录下新建myid文件。
（2），在zookeeper-3.2.1/conf目录下，拷贝zoo_sample.cfg为zoo.cfg。在zoo.cfg中将dataDir改为/home/hdfs/zookeeper，在文件末位添加所有的主机：
31. config.set("hbase.zookeeper.quorum", "10.192.1.1");
32.
33. HTable table = new HTable(config, "commodity");
34.
35. System.out.println("Get Spin's commodity info");
PC-4 Suse Linux 9 10.192.1.4
在Linux上搭建Web服务器的步骤
在Linux上搭建Web服务器的步骤在当今的数字化世界中，Web服务器作为承载和提供网页服务的重要组成部分，它的搭建对于Web应用程序的开发和部署具有至关重要的意义。
在本文中，我们将介绍在Linux操作系统上搭建Web服务器的步骤。
一、Linux环境准备1.选择合适的Linux发行版：目前常见的Linux发行版有Ubuntu、CentOS等，选择合适的发行版作为我们的Web服务器操作系统。
2.安装Linux操作系统：根据所选择的Linux发行版，进行系统的安装。
安装过程中需要设置用户名、密码等相关配置。
二、安装所需软件1.安装Apache服务器：Apache是目前最广泛使用的Web服务器软件之一。
在Linux上安装Apache可以通过包管理工具进行安装，以Ubuntu为例，命令如下：```sudo apt-get update //更新软件源sudo apt-get install apache2 //安装Apache```2.安装PHP解释器：PHP是一种广泛使用的服务器端脚本语言，用于动态生成Web页面。
同样使用包管理工具进行安装，以Ubuntu为例，命令如下：```sudo apt-get install php libapache2-mod-php //安装PHP和Apache模块```3.安装MySQL数据库：MySQL是一种开源的关系型数据库管理系统，用于存储和管理网站所需的数据。
以Ubuntu为例，命令如下：```sudo apt-get install mysql-server //安装MySQL服务器sudo mysql_secure_installation //进行安全设置```三、配置服务器1.配置Apache服务器：Apache的配置文件位于/etc/apache2目录下，通过编辑该文件可以对服务器进行相关配置。
```sudo nano /etc/apache2/apache2.conf //编辑配置文件```在配置文件中可以设置服务器的根目录、虚拟主机等信息。
hbase连接参数
HBase是一种分布式的、可伸缩的、大数据存储服务，使用Hadoop的HDFS作为底层存储。
要连接HBase，需要配置一些参数，以下是一些常见的连接参数：
1.hbase.zookeeper.quorum: 指定ZooKeeper集群的地址，HBase通过
ZooKeeper进行协调。
2.hbase.zookeeper.property.clientPort: 指定ZooKeeper的端口号，默认
为2181。
3.hbase.master: 指定HBase主服务器的地址和端口号，格式为
hostname:port。
4.hbase.zookeeper.session.timeout: 指定ZooKeeper的会话超时时间，单
位为毫秒。
5.hbase.client.scanner.caching: 指定扫描器缓存大小，可以提高扫描性
能。
6.hbase.client.keyvalue.maxsize: 指定单个键值对的最大大小，超过此大
小的键值对将不会被存储。
7.hbase.client.retries.number: 指定客户端重试次数，当与HBase服务器
通信失败时可以尝试重新连接。
这些参数可以在连接HBase时进行配置，以便更好地控制连接和通信的行为。
具体的参数值取决于实际需求和环境配置。
hbase基于YCSB的压力测试配置与使用
YCSB对hbase压力测试的环境配置系统环境：redhat linux5编码环境：jdk因为后面需要执行java编译，所以系统必须安装jdk，并且通过vi，打开/etc/profile,将JDK的JAVA_HOME,PATH,CLASSPATH加进去，我的jdk安装包放在/home/maomao/下的，如下图配置：下载ycsb-0.1.4.tar.gz，解压后需要四步去搭建环境：第一步：将Hbase文件中的lib及根目录下的jar包，都拷贝到ycsb-0.1.4下的hbase-binding/lib中。
第二步：将我们Hbase的配置文件hbase-site.xml，添加到ycsb-0.1.4下的/hbase-binding/conf中。
第三步：通过vi，修改文件/etc/hosts，将数据库服务端的ip，添加到主机中，和hbase java环境搭建一样。
第四步：通过java操作，或者shell脚本，在数据库中创建一个名为“usertable”，columnfamily为“f1”，“f2”，“f3”，至少一个列族的表，因为操作时，默认使用usertable这个表好了，经过以上四步，测试环境已经搭建成功。
Ycsb测试方法Ycsb也是通过jar包及配置文件，封装了，对于hbase的连接及操作等方法。
所以需要一个编码环境jdk，去对其进行编译处理。
测试方法很简单，分为两步：一步是加载数据;第二步是执行事务。
主要是在ycsb-0.1.4/bin下执行ycsb文件，命令是./ycsb load hbase -P ../workloads/workloada -p threads=10 -p columnfamily=f1 -p recordcount=50000 -s > load.dat其中-p是指定配置文件，ycsb在workloads文件下，自带了workloada/b/c/d/e/f六个文件，每个文件进行不一样的事务操作，比如是只读，读写，只写等等。
如何在Linux系统中安装数据库
如何在Linux系统中安装数据库在Linux系统中，安装数据库是一项重要且常见的任务。
数据库是用于存储、管理和访问数据的软件系统，它在各种应用领域中都扮演着关键角色。
本文将介绍如何在Linux系统中安装数据库，并提供适当的步骤和指导。
一、选择适合的数据库在开始安装之前，我们需要选择适合我们需求的数据库。
常见的Linux数据库包括MySQL、PostgreSQL和MongoDB等。
根据具体情况，选择最适合您项目需求的数据库软件。
二、安装依赖在安装数据库之前，我们需要确保系统中已经安装了一些必要的依赖项。
这些依赖项通常包括C/C++编译器、开发工具包以及其他必要的库文件。
您可以通过系统包管理器来安装这些依赖项。
以下是一些常见的依赖项的安装命令示例:对于Debian/Ubuntu系统：```sudo apt-get updatesudo apt-get install build-essential```对于CentOS/Fedora系统：sudo yum updatesudo yum groupinstall "Development Tools"```三、下载和安装数据库软件一旦我们安装好了依赖项，我们可以开始下载和安装数据库软件。
在此我们以MySQL为例，介绍如何在Linux系统中安装。
1. 首先，我们需要访问MySQL的官方网站，下载适用于Linux系统的MySQL安装包。
您可以在MySQL官方网站的下载页面找到适合您系统的安装包。
2. 下载完成后，将安装包移动到指定目录。
我们可以使用以下命令来解压和移动文件：```tar -zxvf mysql-VERSION.tar.gzsudo mv mysql-VERSION /usr/local/mysql```请注意将"VERSION"替换为您下载的文件的实际版本号。
3. 接下来，我们需要创建MySQL的相关用户和组，以及设置权限。
Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册
Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册前言： (3)一. Hadoop安装（伪分布式） (4)1. 操作系统 (4)2. 安装JDK (4)1> 下载并解压JDK (4)2> 配置环境变量 (4)3> 检测JDK环境 (5)3. 安装SSH (5)1> 检验ssh是否已经安装 (5)2> 安装ssh (5)3> 配置ssh免密码登录 (5)4. 安装Hadoop (6)1> 下载并解压 (6)2> 配置环境变量 (6)3> 配置Hadoop (6)4> 启动并验证 (8)前言：网络上充斥着大量Hadoop1的教程，版本老旧，Hadoop2的中文资料相对较少，本教程的宗旨在于从Hadoop2出发，结合作者在实际工作中的经验，提供一套最新版本的Hadoop2相关教程。
为什么是Hadoop2.2.0，而不是Hadoop2.4.0本文写作时，Hadoop的最新版本已经是2.4.0，但是最新版本的Hbase0.98.1仅支持到Hadoop2.2.0，且Hadoop2.2.0已经相对稳定，所以我们依然采用2.2.0版本。
一. Hadoop安装（伪分布式）1. 操作系统Hadoop一定要运行在Linux系统环境下，网上有windows下模拟linux环境部署的教程，放弃这个吧，莫名其妙的问题多如牛毛。
2. 安装JDK1> 下载并解压JDK我的目录为：/home/apple/jdk1.82> 配置环境变量打开/etc/profile，添加以下内容：export JAVA_HOME=/home/apple/jdk1.8export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar执行source /etc/profile ，使更改后的profile生效。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
HBase在Linux下安装和配置详解
2012-11-05 13:33 ideawu ideawu我要评论(0)字号：T | T
在Linux系统下如何安装和配置HBase？首先从Hbase官网下载页面下载安装包, 然后配置hbase-env.sh和hbase-default.xml，详细步骤请看本文介绍。
AD：2013云计算架构师峰会超低价抢票中
1. 下载安装包
从 Hbase官网下载页面下载安装包, 然后：
1.tar xfz hbase-0.94.
2.tar.gz
2.cd hbase-0.94.2
3.chmodugo+x ./bin/*.sh
注意, 要修改 bin/ 目录下的脚本的的权限, 不然启动出错。
2. 配置 hbase-env.sh 和 hbase-default.xml
两个配置文件中的一个 hbase-env.sh 已经存在于 conf/ 目录下, 但 hbase-default.xml 并不在 conf/ 目录, 需要从 ./src/main/resources/ 目录拷贝：
1.cp ./src/main/resources/hbase-default.xml ./conf/
修改 hbase-env.sh 的如下几个地方：
1.export JAVA_HOME=/home/wuzuyang/software/jdk1.7.0/
2.export HBASE_CLASSPATH=/home/wuzuyang/software/hbase-0.94.2/lib/
3.export HBASE_PID_DIR=${HBASE_HOME}/tmp
4.export HBASE_IDENT_STRING=my
修改 hbase-default.xml 的如下几个地方：
1.<name>hbase.rootdir</name>
2.<value>/home/work/software/hbase-0.94.2/data</value>
3.
4.<name>hbase.tmp.dir</name>
5.<value>/home/work/software/hbase-0.94.2/tmp</value>
6.
7.<name>hbase.defaults.for.version</name>
8.<value>0.94.2</value>
3. 启动和停止 HBase：
1.# 启动
2../bin/start-hbase.sh
3.# 停止
4../bin/stop-hbase.sh
如果无法正常停止, 需要手动 kill 进程.
4. 测试 HBase 是否成功启动：
1.$ ./bin/hbase shell
2.HBase Shell; enter 'help<RETURN>' for list of supported commands.
3.Type "exit<RETURN>" to leave the HBase Shell
4.Version 0.94.2, r1395367, Sun Oct 7 19:11:01 UTC 2012
5.
6.hbase(main):001:0> list
7.TABLE
5. 编译 HBase Java 应用程序：
1.javac -cp ./hbase-0.94.
2.jar:./lib/hadoop-core-1.0.
3.jar Test.java;
2.java -cp ./:./*:./lib/* Test
linux安装HBase
(1) 编辑$HBASE_HOME/conf/hbase-env.sh文件，设置JAVA_HOME和HBASE_CLASSPATH变量
export JAVA_HOME=/usr/lib/jvm/java1.6.0_30 (自己的JAVA_HOME主目录) export HBASE_CLASSPATH=$HADOOP_HOME/conf (自己的HADOOP_HOME主目录)
(2) 编辑$HBASE_HOME/conf/hbase-site.xml文件，增加以下内容
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
注：以上表格中标红色的路径一定要跟hadoop中core-site.xml中中的路径相同，否则会出错。
(3) 替换Hbase中的jar包
需要用$HADOOP_HOME下的hadoop-x.x.x-core.jar替换掉$HBASE_HOME/lib目录下的hadoop-x.x.x-core.jar。
如果不替换jar文件Hbase启动时可能会因为hadoop和Hbase的客户端协议不一致而导致HMaster启动异常。
报错如下：localhost: Exception in thread "main"
org.apache.hadoop.ipc.RPC$VersionMismatch:
Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41)
所以如果遇到以上错误，就通过替换jar包解决。
(4) 完成以上操作，就可以正常启动Hbase了，启动顺序：先启动Hadoop——>再启动Hbase，关闭顺序：先关闭Hbase——>再关闭Hadoop。
启动Hbase的命令，进入到hbase安装主目录的bin目录下
$ ./start-hbase.sh //启动hbase
$ ./hbase shell//进入shell模式
$ ./stop-habse.sh //停止hbase
如果在操作Hbase的过程中发生错误，可以通过hbase安装主目录下的logs子目录查看错误原因。
注意：
hbase的运行需要用到zookeeper，而hbase自带了zookeeper，所以可以使用hbase 自带的zookeeper，在conf/hbase-env.sh 文件中
export HBASE_MANAGES_ZK=true, true表示使用hbase自带的zookeeper, 如果不想使用其自带的zookeeper, 自己下载包安装的化, 该项设置为false.
当然如果自己安装zookeeper, 启动及关闭先后顺序为：启动Hadoop—>启动ZooKeeper集群—>启动HBase—>停止HBase—>停ZooKeeper集群—>停Hadoop。