一、hbase简介
HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务。因此,它可以容错地存储海量稀疏的数据。
HBase在列上实现了BigTable论文提到的压缩算法、内存操作和布隆过滤器。HBase的表能够作为MapReduce任务的输入和输出,可以通过Java API来存取数据,也可以通过REST、Avro或者Thrift的API来访问。 — 维基百科
参考文档
Apache HBase ™ Reference Guide
HBase 官方文档中文版
列式存储hbase系统架构学习
(slideshare PPT 分享服务在大陆是被墙的,不能科学上网?查看使用shadowsocks服务享受自由网络学习方法)
二、整体环境说明
hbase的存储为 HDFS,所以运行hbase是需要hadoop环境的,hadoop 集群搭建过程参考之前文章http://ixirong.com/2015/05/22/how-to-install-hadoop-cluster/
操作系统: cenos 6.4 ,三台192.168.9.92、192.168.9.93、192.168.9.94
jdk版本: 1.7.0_75
hadoop版本: 2.5.2 (目的与hbase兼容)
hbase 集群3个节点,一主两从,如下:
角色 | ip | 运行进程 |
---|---|---|
master | 192.168.9.92 | JobHistoryServer,ResourceManager,NameNode,NodeManager,DataNode,Main,HMaster |
slave1 | 192.168.9.93 | NodeManager,DataNode,HRegionServer |
slave2 | 192.168.9.94 | NodeManager,DataNode,HRegionServer |
hbase 的部署完全支持单机和伪分布式,如果没有机器可以按照这两种方式来部署,详情参考:http://blog.csdn.net/andie_guo/article/details/44086389
三、分布式集群搭建
hbase 集群的搭建如同hadoop一样,并不困难,解压完文件、修改环境变量、修改启动时候的配置文件,启动测试就ok了,下面一步步来说明,最后提供一键安装部署脚本。
hbase 版本的下载参考官网 http://mirrors.cnnic.cn/apache/hbase/ ,本文使用的版本为1.1.0.1/ 22-May-2015 02:20 -
。
3.1 安装 hbase
将下载下来的文件hbase-1.0.1-bin.tar.gz
,解压到 /home/hadoop/
目录下面 ,命令如下:
1
|
tar -zxvf hbase-1.0.1-bin.tar.gz -C /home/hadoop
|
3.2 配置环境变量
第一步操作后会存在/home/hadoop/hbase
这个目录,下面需要修改环境变量vim /etc/profile
,添加如下:
1
|
export PATH=$PATH:/home/hadoop/hbase/bin
|
3.3 hbase配置文件修改
hbase 相关的配置主要包括hbase-env.sh
、hbase-site.xml
、regionservers
三个文件,都在 /home/haoop/hbase/conf
目录下面:
3.3.1 修改 hbase-env.sh
主要是 JAVA_HOME、HADOOP_HOME、日志等的位置:
1
|
export JAVA_HOME=/opt/jdk1.7.0_75
|
3.3.2 修改 hbase-site.xml
xml 包含了几个关键的属性
属性 | 说明 |
---|---|
hbase.rootdir | hbase数据存储目录,/tmp/hbase-${user.name},这意味着每次重启系统都会丢失数据。注意:需要和hadoop的core-site.xml中的文件保持一致 |
hbase.cluster.distributed | 是否分布式,单击和伪分布式需要设置为 false |
hbase.master | 指定master机器 |
hbase.zookeeper.quorum | zk集群机器,多个英文逗号隔开,注意:必须是基数 |
1
|
<configuration>
|
3.3.3 修改regionservers
添加HRegionServer的机器,目前为slave1和slave2两台,如下 vim /home/hadoop/hbase/conf/regionservers
1
|
slave1
|
上面这几步,需要在每台机器上面都执行下,执行完毕后,hbase集群就算搭建完了,因为机器一多,执行这些命令很是烦人,所以提供一键安装部署脚本,hbase_tar.zip
文件请访问百度网盘,密码为2a4g
,脚本如下:
1
|
#!/bin/bash
|
四、hbase集群测试
集群中所有节点完成上述HBase部署之后,即可启动HBase集群。启动顺序:hadoop-> hbase,如果使用自己安装的zookeeper启动顺序是:hadoop-> zookeeper-> hbase
停止顺序:hbase-> zookeeper-> hadoop。
hadoop 启动方法:$HADOOP_HOME/bin/start_all.sh
,jps 命令后看到hadoop的几个进程说明就是ok的,详情参考
zk 启动方法: sh $ZOOKEEPER_HOME/bin/zkServer.sh start
, 启动后可以查看 zk的状态 sh $ZOOKEEPER_HOME/bin/zkServer.sh status
,发现 leader或者Fowler,就说明是ok的,详情参考
hbase启动方法如下,执行jps
Java进程查看命令后,出现下面的情况就证明是ok的
1
|
# master上启动,注意:只需要在master机器上面执行 start-hbase.sh就行,会自动启动slave1和slave2
|
五、hbase shell 操作
hbase提供的shell脚本就如果MySQL的一样,简单、强大,如下面例子中的几个:
1
|
[hadoop@master bin]$ hbase shell
|
这部分操作请参考如下文章,个人认为写的通俗易懂,还很全面,适合入门体验
【HBase基础教程】3、HBase Shell DDL操作
【HBase基础教程】4、HBase Shell DML操作
HBase shell的基本用法