• hbase on spark


    1.在spark的伪分布式环境下安装HBASE

    (1)版本:我使用的spark版本是1.3.0,使用的hbase版本是hbase-0.94.16

    (2)解压,tar zxvf  hbase-0.94.16.tar.gz 到我的目录中,

    还有一点需要修改权限:设置hbase-0.94.16所在用户为hadoop,所在组为hadoop(root用户操作)

    chown -R hadoop hbase-0.94.16
    chgrp -R hadoop hbase-0.94.16
    或
     chown -R hadoop:hadoop hbase-0.94.16

    (3)配置环境变量 vim /etc/profile

      

    1 export HBASE_HOME=/opt/data02/modules/hbase-0.94.16
    2 export PATH=$PATH:$HBASE_HOME/bin

    (4)hbase配置:

    第一个配置的是:$HBASE_HOME/conf/hbase-env.sh,添加如下内容,最后一行添加export HBASE_MANAGES_ZK=true,表示使用HBase自带的zookeeper

    1 export JAVA_HOME=/opt/data02/modules/jdk1.7.0_25
    2 export HBASE_HOM=E/opt/data02/modules/hbase-0.94.16
    3 export HBASE_MANAGES_ZK=true

    第二个配置的是:$HBASE_HOME/conf目录中的hbase-site.xml,添加以下内容

     1 <configuration>
     2         <property>
     3                 <name>hbase.rootdir</name>
     4                 <value>hdfs://spark-master.dragon.org:54310/hbase</value>
     5         </property>
     6         <property>
     7                 <name>hbase.cluster.distributed</name>
     8                 <value>true</value>
     9         </property>
    10         <property>
    11                 <name>hbase.master</name>
    12                 <value>spark-master.dragon.org:54311</value>
    13         </property>
    14         <property>
    15                 <name>hbase.zookeeper.quorum</name>
    16                 <value>spark-master.dragon.org</value>
    17         </property>
    18 
    19 </configuration>

    在添加的时候值得注意的是,spark-master.dragon.org是主机名,不能换成IP地址,如果换成IP地址,在启动/habse的时候,/hmaster会发现无法启动

    最后别忘了,设置环境变量立即生效: source /etc/profile

    (5)启动,首先需要启动hadoop,然后启动hbase,如果最后,HQuorumPeer,HMaster,HRegionServer全部启动,则安装成功

  • 相关阅读:
    C#yield return用法示例
    C#多线程示例
    AspNetCore.Authentication
    C#委托与事件
    按值和按引用传递参数
    基于iView的无限级菜单
    Sortable By Attribute
    未能加载文件或程序集“BLL”或它的某一个依赖项。生成此程序集的运行时比当前加载的运行时新,无法加载此程序集。
    有关导出Excel特殊字符的问题
    openFileDialog的使用
  • 原文地址:https://www.cnblogs.com/nolonely/p/5390257.html
Copyright © 2020-2023  润新知