• windows平台kettle连接hbase的问题


    我本机安装的环境是centos7,并在本机上安装了zookeeper,hadoop,hbase,hive等组件,

    使用pdi7.1来连接hbase,把mysql表中的数据导出到hbase中去,没有问题。

    因为其他同事使用的是windows环境,在连接cdh vm的环境时,hbase一直连接可以,而执行有问题。

    而在使用自己在虚机中安装的hadoop环境时,hbase连接经常报找不到主机异常或连接拒绝等问题。

    这类问题,基本都是hadoop core-site.xml中hdfs端口监听的IP配置问题,和hbase hbase-site.xml中的配置有关,

    还有/etc/hosts的配置有关。

    现贴上我本机的相关配置文件,

    core-site.xml

    <configuration>
      <property>
            <name>fs.defaultFS</name>
            <value>hdfs://0.0.0.0:9000</value>
        </property>
    
    
    
    <property>
      <name>hadoop.proxyuser.student.groups</name>
      <value>*</value>
    </property>
    
    <property>
      <name>hadoop.proxyuser.student.hosts</name>
      <value>*</value>
    </property>
    
    <property>
      <name>hadoop.proxyuser.hive.groups</name>
      <value>*</value>
    </property>
    
    <property>
      <name>hadoop.proxyuser.hive.hosts</name>
      <value>*</value>
    </property>
    
    
    </configuration>

    hbase hbase-site.xml

    <configuration>
    <property>
    <name>hbase.rootdir</name>
    <value>hdfs://student:9000/user/hbase</value>
    </property>
    
    <property>
    <name>hbase.cluster.distributed </name>
    <value>true</value>
    </property>
    
      <property>
        <name>hbase.regionserver.ipc.address</name>
        <value>0.0.0.0</value>
      </property>
    
      <property>
        <name>hbase.master.ipc.address</name>
        <value>0.0.0.0</value>
      </property>
    
      <property>
        <name>hbase.thrift.info.bindAddress</name>
        <value>0.0.0.0</value>
      </property>
    
    <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2182</value>
    </property>
    <property>
    <name>hbase.zookeeper.quorum</name>
    <value>student</value>
    </property>
    
    </configuration>

     如果还报找不到主机异常,kettle java.net.UnknownHostException: C

    你选择的hbase-site.xm文件位于C盘,请修改为如下的方式,在前面添加文件协议:file:///

    file:///C:UsersAdministratorDesktophbase-site.xml

  • 相关阅读:
    字符串匹配的三种算法
    字符串匹配
    多少个矩形被覆盖
    指针和地址的区别
    股票开盘的最大成交额-----一道不错的贪心算法题目
    Z字形扫描矩阵
    第几次出现
    节日(CCF试题)
    数字排序
    JS对象添加新的字段
  • 原文地址:https://www.cnblogs.com/huaxiaoyao/p/9704928.html
Copyright © 2020-2023  润新知