• HBase+Phoenix整合入门--集群搭建


    环境:CentOS 6.6 64位    hbase 1.1.15  phoenix-4.7.0-HBase-1.1

    一、前置环境:

      已经安装配置好Hadoop 2.6和jdk 1.7

    二、安装hbase

    1、下载、解压

    # wget http://archive.apache.org/dist/hbase/1.1.5/hbase-1.1.5-bin.tar.gz
    # tar -zxvf hbase-1.1.5-bin.tar.gz -C /usr/local/ # cd /usr/local/ # mv hbase-1.1.5/ hbase

    补充:

    Hadoop生态常用框架下载地址:Index of /dist  http://archive.apache.org/dist/

    2、修改/etc/profile

    # vim /etc/profile

    添加HBase_HOME相关配置:

    export JAVA_HOME=/opt/jdk1.7.0_45
    export HADOOP_HOME=/usr/local/hadoop
    export HIVE_HOME=/usr/local/hive-0.14/
    export HBASE_HOME=/usr/local/hbase 
    export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH:$HIVE_HOME/bin:$HBASE_HOME/bin

    刷新,使设置生效:

    # source /etc/profile

      然后,将当前/etc/profile文件用src命令复制到其他节点,并用source命令刷新配置

    3、修改配置文件:

      (1)、环境变量设置:hbase-env.sh文件

        修改/usr/local/hbase/conf/hbase-env.sh文件,在末尾添加如下内容

    export HBASE_MANAGES_ZK=true                  #使用hbase1.1.15自带的zookeeper
    export JAVA_HOME=/opt/jdk1.7.0_45
    export HBASE_LOG_DIR=/usr/local/hadoop_repo/hbase/logs     #日志文件位置

      (2)、设置节点参数的详细信息:hbase-site.xml文件

      修改hbase-site.xml文件,添加如下配置信息:

    <configuration>
        <property >
            <name>hbase.rootdir</name>
            <value>hdfs://master:9000/hbase</value>
        </property>
        <property>
            <name>hbase.tmp.dir</name>
            <value>/usr/local/hadoop_repo/hbase/tmp</value>
        </property>
        <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
        </property>
        <property>
            <name>hbase.zookeeper.quorum</name>
            <value>master,slave01,slave02</value>
        </property>
        <property>
            <name>hbase.zookeeper.property.dataDir</name>
            <value>/usr/local/hadoop_repo/hbase/zk</value>
        </property>
        <property>
            <name>hbase.rpc.timeout</name>
            <value>1440000</value>
        </property>
        <property>
            <name>zookeeper.session.timeout</name>
            <value>90000</value>
        </property>
        <property>
            <name>hbase.zookeeper.property.tickTime</name>
            <value>9000</value>
        </property>
        <property>
            <name>hbase.regionserver.restart.on.zk.expire</name>
            <value>true</value>
        </property>
    </configuration>
    View Code

      (3)、添加集群节点信息:regionservers文件

      修改regionservers文件,添加所有节点:

    master
    slave01
    slave02

      (4)、设置备份master:backup-masters文件

      创建backup-masters文件,添加备份master节点:

    slave02

    4、将设置好的HBase软件包分发到所有节点,命令示例如下:

    # scp -r hbase/ slave01:/usr/local/
    # scp -r hbase/ slave02:/usr/local/

    5、添加Windows本地映射

    修改Windows系统C:WindowsSystem32driversetc下hosts文件,添加集群在本地的映射:

    192.168.0.4 master
    192.168.0.5 slave01
    192.168.0.6 slave02

    6、启动hbase

      注意:先启动hdfs

    # start-dfs.sh          
    # jps                    #注意查看进程信息,确保进程正常启动
    # start-hbase.sh
    # jps
    # hbase shell #使用HBase Shell进行操作

    三、安装Phoenix

    1、在主节点master上下载、解压

    [root@master ~]# wget http://archive.apache.org/dist/phoenix/phoenix-4.7.0-HBase-1.1/bin/phoenix-4.7.0-HBase-1.1-bin.tar.gz
    [root@master ~]# tar -zxvf phoenix-4.7.0-HBase-1.1-bin.tar.gz -C /usr/local/

    2、加载phoenix驱动

    将phoenix目录下的phoenix-4.7.0-*.jar包全部复制到region server的lib目录下

    [root@master local]# cd /usr/local/
    [root@master local]# mv phoenix-4.7.0-HBase-1.1-bin/ phoenix-4.7.0
    [root@master local]# cd phoenix-4.7.0/
    [root@master phoenix-4.7.0]# ls
    bin                                               phoenix-pherf-4.7.0-HBase-1.1-sources.jar
    examples                                          phoenix-pherf-4.7.0-HBase-1.1-tests.jar
    LICENSE                                           phoenix-pig-4.7.0-HBase-1.1.jar
    NOTICE                                            phoenix-pig-4.7.0-HBase-1.1-sources.jar
    phoenix-4.7.0-HBase-1.1-client.jar                phoenix-pig-4.7.0-HBase-1.1-tests.jar
    phoenix-4.7.0-HBase-1.1-client-minimal.jar        phoenix-server-4.7.0-HBase-1.1.jar
    phoenix-4.7.0-HBase-1.1-client-spark.jar          phoenix-server-4.7.0-HBase-1.1-runnable.jar
    phoenix-4.7.0-HBase-1.1-client-without-hbase.jar  phoenix-server-4.7.0-HBase-1.1-sources.jar
    phoenix-4.7.0-HBase-1.1-server.jar                phoenix-server-4.7.0-HBase-1.1-tests.jar
    phoenix-4.7.0-HBase-1.1-tests.jar                 phoenix-server-client-4.7.0-HBase-1.1.jar
    phoenix-4.7.0-HBase-1.1-thin-client.jar           phoenix-server-client-4.7.0-HBase-1.1-sources.jar
    phoenix-assembly-4.7.0-HBase-1.1-tests.jar        phoenix-server-client-4.7.0-HBase-1.1-tests.jar
    phoenix-core-4.7.0-HBase-1.1.jar                  phoenix-spark-4.7.0-HBase-1.1.jar
    phoenix-core-4.7.0-HBase-1.1-sources.jar          phoenix-spark-4.7.0-HBase-1.1-sources.jar
    phoenix-core-4.7.0-HBase-1.1-tests.jar            phoenix-spark-4.7.0-HBase-1.1-tests.jar
    phoenix-flume-4.7.0-HBase-1.1.jar                 phoenix-tracing-webapp-4.7.0-HBase-1.1.jar
    phoenix-flume-4.7.0-HBase-1.1-sources.jar         phoenix-tracing-webapp-4.7.0-HBase-1.1-runnable.jar
    phoenix-flume-4.7.0-HBase-1.1-tests.jar           phoenix-tracing-webapp-4.7.0-HBase-1.1-sources.jar
    phoenix-pherf-4.7.0-HBase-1.1.jar                 phoenix-tracing-webapp-4.7.0-HBase-1.1-tests.jar
    phoenix-pherf-4.7.0-HBase-1.1-minimal.jar
    [root@master phoenix-4.7.0]# scp phoenix-4.7.0-* slave01:/usr/local/hbase/lib
    [root@master phoenix-4.7.0]# scp phoenix-4.7.0-* slave02:/usr/local/hbase/lib/
    View Code

    3、重启HBase后,启动phoenix服务端

    [root@master phoenix-4.7.0]# bin/sqlline.py localhost
    

      

     

  • 相关阅读:
    使用百度网盘配置私有Git服务
    Linked dylibs built for GC-only but object files built for retain/release for architecture x86_64
    我的博客搬家啦!!!
    今日头条核心业务(高级)开发工程师,直接推给部门经理,HC很多,感兴趣的可以一起聊聊。
    学习Python的三种境界
    拿到阿里,网易游戏,腾讯,smartx的offer的过程
    关于计算机网络一些问题的思考
    网易游戏面试经验(三)
    网易游戏面试经验(二)
    网易游戏面试经验(一)
  • 原文地址:https://www.cnblogs.com/chinas/p/5910854.html
Copyright © 2020-2023  润新知